opendatascience

Can't Join? t.me/opendatascience

subscribers number

50 455

subscribers

Data Science by ODS.ai 🦜

Updated: Dec 17, 2024


First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @haarrp

Country Rank 265 ↓1
Country United States
Language English

Latest Posts

opendatascience

opendatascience

August 14, 2024, 7:33

ВСнтиляторныС ΡˆΡ€Π°ΠΏΠ½Π΅Π»ΠΈ Π² ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π°Ρ…

Π’ Π΄Π°Ρ‚Π°-Ρ†Π΅Π½Ρ‚Ρ€Π°Ρ… ЯндСкса Π΅ΡΡ‚ΡŒ собствСнная систСма стоСк, Π³Π΄Π΅ Π½Π° ΠΎΠ΄Π½ΠΎΠΉ ΠΏΠ»Π°Ρ‚Π΅ установлСно сразу нСсколько Π²ΠΈΠ΄Π΅ΠΎΠΊΠ°Ρ€Ρ‚, ΠΊ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½Ρ‹ сСрвСра. На этой Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ Β«Π“Π°Π»ΡƒΡˆΠΊΠΈΠ½Β».

Для охлаТдСния ΠΊΠ°Ρ€Ρ‚ΠΎΡ‡Π΅ΠΊ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ вСнтиляторы Π½Π° 15 тысяч ΠΎΠ±ΠΎΡ€ΠΎΡ‚ΠΎΠ² Π² ΠΌΠΈΠ½ΡƒΡ‚Ρƒ. Π’ Ρ‚Π΅Ρ‡Π΅Π½ΠΈΠ΅ Π΄ΠΎΠ»Π³ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ эти вСнтиляторы Ρ€Π°Π±ΠΎΡ‚Π°Π»ΠΈ ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΠΎ ΠΈ Π±Π΅Π· ΠΏΠ΅Ρ€Π΅Π±ΠΎΠ΅Π². Но спустя Π΄Π²Π° Π³ΠΎΠ΄Π° ΠΎΠ΄ΠΈΠ½ ΠΈΠ· вСнтиляторов Π²ΠΎ Π’Π»Π°Π΄ΠΈΠΌΠΈΡ€Π΅ Π±ΡƒΠΊΠ²Π°Π»ΡŒΠ½ΠΎ разлСтСлся Π½Π° куски Π²ΠΎ врСмя Ρ€Π°Π±ΠΎΡ‚Ρ‹.

ΠœΡ‹ Π½Π΅ ΠΏΡ€ΠΈΠ΄Π°Π»ΠΈ этому большого значСния. ВСнтиляторов ΠΌΠ½ΠΎΠ³ΠΎ, ΠΎΠ½ΠΈ Π΄ΠΎΠ»Π³ΠΎ слуТили Π²Π΅Ρ€ΠΎΠΉ ΠΈ ΠΏΡ€Π°Π²Π΄ΠΎΠΉ, поэтому Π΅Π΄ΠΈΠ½ΠΈΡ‡Π½Ρ‹ΠΉ случай нас Π½Π΅ настороТил. Но ΠΏΠΎΠ·ΠΆΠ΅ вСнтиляторы Π½Π°Ρ‡Π°Π»ΠΈ Π²Ρ‹Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΈΠ· строя ΠΎΠ΄ΠΈΠ½ Π·Π° Π΄Ρ€ΡƒΠ³ΠΈΠΌ β€” Π°Π±ΡΠΎΠ»ΡŽΡ‚Π½ΠΎ случайным ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ. ΠŸΡ€Π΅Π΄ΡƒΠ³Π°Π΄Π°Ρ‚ΡŒ ΡƒΠ½ΠΈΡ‡Ρ‚ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΎΡ‡Π΅Ρ€Π΅Π΄Π½ΠΎΠ³ΠΎ устройства Π±Ρ‹Π»ΠΎ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ.

Π Π°Π·Π»Π΅Ρ‚Π°ΡΡΡŒ, лопасти, ΠΊΠ°ΠΊ ΡˆΡ€Π°ΠΏΠ½Π΅Π»ΡŒ, ΠΌΠΎΠ³Π»ΠΈ Β«Ρ€Π°Π½ΠΈΡ‚ΡŒ ΠΊΠΎΠ»Π»Π΅Π³Β». ΠŸΠΎΠ»ΡƒΡ‡Π°Π»Π°ΡΡŒ цСпная рСакция: ΠΎΠ΄ΠΈΠ½ вСнтилятор, выйдя ΠΈΠ· строя, тянСт Π·Π° собой ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ, Π° Ρ‚ΠΎΡ‚ β€” своСго сосСда ΠΈ Ρ‚Π°ΠΊ Π΄Π°Π»Π΅Π΅. И всё это Π·Π° ΠΊΠ°ΠΊΠΈΠ΅-Ρ‚ΠΎ нСсколько сСкунд! ΠŸΠΎΡ€ΠΎΠΉ ΠΌΡ‹ Π½Π°Ρ…ΠΎΠ΄ΠΈΠ»ΠΈ ΠΎΠ±Π»ΠΎΠΌΠΊΠΈ лопастСй Π² ΠΊΠΎΡ€ΠΈΠ΄ΠΎΡ€Π΅, Π° ΠΏΡ€ΠΈ Ρ€Π°Π±ΠΎΡ‚Π΅ с ΠΏΠΎΠ»ΠΊΠ°ΠΌΠΈ ΠΏΡ€ΠΈΡ…ΠΎΠ΄ΠΈΠ»ΠΎΡΡŒ Π½Π°Π΄Π΅Π²Π°Ρ‚ΡŒ ΠΎΡ‡ΠΊΠΈ.

ΠœΡ‹ ΠΏΡ€ΠΈΠ½ΡΠ»ΠΈΡΡŒ ΠΈΡΠΊΠ°Ρ‚ΡŒ ΠΏΡ€ΠΈΡ‡ΠΈΠ½Ρƒ нСисправности. Π˜Π·ΡƒΡ‡Π°Π»ΠΈ ΠΊΠ°Π±Π΅Π»ΡŒΠ½Ρ‹Π΅ стяТки, Ρ€Π°Π·Π±ΠΈΡ€Π°Π»ΠΈ вСнтиляторы, ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΠ»ΠΈ Π·Π°ΠΌΠ΅Ρ€Ρ‹, Π²Ρ‹Π΄Π²ΠΈΠ³Π°Π»ΠΈ ΠΈ провСряли самыС Π±Π΅Π·ΡƒΠΌΠ½Ρ‹Π΅ Π³ΠΈΠΏΠΎΡ‚Π΅Π·Ρ‹. ΠœΡ‹ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡ΠΈΠ»ΠΈ ΠΊ поискам ΠΈ Π½Π°ΡˆΡƒ ΠΊΠΎΠΌΠ°Π½Π΄Ρƒ RnD.

Π’Ρ‹ΡΡΠ½ΠΈΠ»ΠΎΡΡŒ, Ρ‡Ρ‚ΠΎ пластик, ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ сдСланы вСнтиляторы, Π½Π΅ Ρ‚Π°ΠΊΠΎΠΉ Π½Π°Π΄Ρ‘ΠΆΠ½Ρ‹ΠΉ, ΠΊΠ°ΠΊ Π½Π°ΠΌ казалось. Если Π½Π° 10 тысячах ΠΎΠ±ΠΎΡ€ΠΎΡ‚Π°Ρ… Π² ΠΌΠΈΠ½ΡƒΡ‚Ρƒ ΠΎΠ½ ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ сСбя Π½Π΅ΠΏΠ»ΠΎΡ…ΠΎ, Ρ‚ΠΎ ΡƒΠΆΠ΅ Π½Π° 15 тысячах Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ Π΄Π΅Π³Ρ€Π°Π΄ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, ΠΏΠΎΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΌΠΈΠΊΡ€ΠΎΡ‚Ρ€Π΅Ρ‰ΠΈΠ½Ρ‹.

ЕдинствСнным Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ стала Π·Π°ΠΌΠ΅Π½Π° вСнтиляторов. А Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π²Ρ‹ΡΡΠ½ΠΈΡ‚ΡŒ навСрняка, ΠΊΠ°ΠΊΠΈΠ΅ устройства ΠΏΠΎΠ΄Π²Π΅Ρ€Π³Π»ΠΈΡΡŒ Π΄Π΅Π³Ρ€Π°Π΄Π°Ρ†ΠΈΠΈ ΠΈ ΠΏΡ€Π΅Π΄ΡƒΠ³Π°Π΄Π°Ρ‚ΡŒ Ρ€Π°Π·Ρ€ΡƒΡˆΠ΅Π½ΠΈΠ΅ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, ΠΌΠ΅Π½ΡΡ‚ΡŒ ΠΏΡ€ΠΈΡˆΠ»ΠΎΡΡŒ всС.

Π’ΠΎΡ‚ такая Π²ΠΎΡ‚ нСобычная ΠΈ нСоТиданная ΠΏΠΎΠ»ΠΎΠΌΠΊΠ°. А с ΠΊΠ°ΠΊΠΈΠΌΠΈ Π½Π΅ΠΎΡ€Π΄ΠΈΠ½Π°Ρ€Π½Ρ‹ΠΌΠΈ нСисправностями ΡΡ‚Π°Π»ΠΊΠΈΠ²Π°Π»ΠΈΡΡŒ Π²Ρ‹? РасскаТитС Π² коммСнтариях!

ML Underhood

opendatascience

opendatascience

August 11, 2024, 8:14

🌟Qwen2-Audio: ΠžΠ±Ρ‰Π°ΠΉΡ‚Π΅ΡΡŒ с LLM ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ голоса.

Qwen2-Audio - Π°ΡƒΠ΄ΠΈΠΎ-языковых модСль, которая способна ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Π°ΡƒΠ΄ΠΈΠΎ ΠΈ тСкст Π½Π° Π²Ρ…ΠΎΠ΄ ΠΈ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ тСкст Π½Π° Π²Ρ‹Ρ…ΠΎΠ΄Π΅.

ΠŸΡ€Π΅Π΄ΡƒΡΠΌΠΎΡ‚Ρ€Π΅Π½ΠΎ Π΄Π²Π° Ρ€Π΅ΠΆΠΈΠΌΠ° взаимодСйствия:
🟠голосовой Ρ‡Π°Ρ‚: ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ голос для ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ инструкций ΠΌΠΎΠ΄Π΅Π»ΠΈ Π±Π΅Π· Π±Π΅Π· Π²Π²ΠΎΠ΄Π° тСкста;
πŸŸ Π°ΡƒΠ΄ΠΈΠΎ-Π°Π½Π°Π»ΠΈΠ·: ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ Π°ΡƒΠ΄ΠΈΠΎΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ (Π²ΠΊΠ»ΡŽΡ‡Π°Ρ Ρ€Π΅Ρ‡ΡŒ, Π·Π²ΡƒΠΊ, ΠΌΡƒΠ·Ρ‹ΠΊΡƒ) ΠΈ тСкстовыС инструкции для Π°Π½Π°Π»ΠΈΠ·Π°.

ОбС ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ 8 языков ΠΈ Π΄ΠΈΠ°Π»Π΅ΠΊΡ‚ΠΎΠ²: китайский, английский, кантонский, французский, ΠΈΡ‚Π°Π»ΡŒΡΠ½ΡΠΊΠΈΠΉ, испанский, Π½Π΅ΠΌΠ΅Ρ†ΠΊΠΈΠΉ ΠΈ японский:

🟒Qwen2-Audio-7B

🟒Qwen2-Audio-7B-Instruct

Π˜Π½Ρ„Π΅Ρ€Π΅Π½Ρ Π½Π° transformers Π² cli Π²ΠΎΠ·ΠΌΠΎΠΆΠ΅Π½ Π² Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Ρ€Π΅ΠΆΠΈΠΌΠ°Ρ…:

πŸŸ ΠΏΡ€ΠΎΡΡ‚ΠΎΠΉ инфСрСнс ΠΌΠΎΠ΄Π΅Π»ΠΈ Qwen2-Audio;
πŸŸ ΠΏΠ°ΠΊΠ΅Ρ‚Π½Ρ‹ΠΉ инфСрСнс (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, нСсколько тСкстовых запросов ΠΊ Π°ΡƒΠ΄ΠΈΠΎΡ„Π°ΠΉΠ»Ρƒ);
πŸŸ ΠΈΠ½Ρ„Π΅Ρ€Π΅Π½Ρ Π°Π½Π°Π»ΠΈΠ·Π° Π°ΡƒΠ΄ΠΈΠΎ (Π² этом Ρ€Π΅ΠΆΠΈΠΌΠ΅ доступны ΠΈ тСкстовыС ΠΈ Π°ΡƒΠ΄ΠΈΠΎ-инструкции);
πŸŸ ΠΈΠ½Ρ„Π΅Ρ€Π΅Π½Ρ голосового Ρ‡Π°Ρ‚Π°.


β–ΆοΈΠ›ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΉ запуск с GradioUI:


# Ensure you have latest Hugging face transformers
pip install git+https://github.com/huggingface/transformers

# to build a web UI demoinstall the following packages
pip install -r requirements_web_demo.txt

# run Gradio web UI
python demo/web_demo_audio.py


πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ : Apache 2.0


πŸŸ‘Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°
πŸŸ‘ΠšΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° HF
🟑Arxiv
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
🟑Demo
πŸ–₯Github [ Stars: 618 | Issues: 7 | Forks: 17]

@ai_machinelearning_big_data

#AI #LLM #ML #Qwen2

opendatascience

opendatascience

July 28, 2024, 15:22

⚑️ ControlNet ProMax: ОбновлСниС Π½Π°Π±ΠΎΡ€Π° ControlNet++ для Stable Diffusion XL.

ControlNet++ - это Π½Π°Π±ΠΎΡ€ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ControlNet, собранный Π½Π° Π½ΠΎΠ²ΠΎΠΉ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ ΠΈ ΡƒΠΏΠ°ΠΊΠΎΠ²Π°Π½Π½Ρ‹ΠΉ Π² ΠΎΠ΄ΠΈΠ½ Π΅Π΄ΠΈΠ½Ρ‹ΠΉ Ρ„Π°ΠΉΠ» Π±Π΅Π· нСобходимости ΡΠΊΠ°Ρ‡ΠΈΠ²Π°Ρ‚ΡŒ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ прСпроцСссоры ΠΈ Π½Π°Π±ΠΎΡ€Ρ‹ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.

ОбновлСниС ProMaΡ… Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя вСсь ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΉ Π½Π°Π±ΠΎΡ€ ControlNet Union, Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π±Ρ‹Π»ΠΈ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Ρ‹ возмоТности ΠΊΠΎΠΌΠ±ΠΈΠ½Π°Ρ†ΠΈΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Ρ‚ΠΈΠΏΠΎΠ² ControlNet ΠΊ ΠΎΠ΄Π½ΠΎΠΌΡƒ исходному ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΡŽ ΠΈ Π½ΠΎΠ²Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Tile Deblur, Tile Superresolution, Tile Variation, Inpaint ΠΈ Outpaint.

C ΡƒΡ‡Π΅Ρ‚ΠΎΠΌ обновлСния, Π½Π°Π±ΠΎΡ€ ControlNet ProMax выполняСт 12 Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ ΠΈ 5 Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΈΠΊ рСдактирования ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ:

🟒Openpose. ΠžΡ†Π΅Π½ΠΈΠ²Π°Π΅Ρ‚ ΠΈ Π°Π½Π½ΠΎΡ‚ΠΈΡ€ΡƒΠ΅Ρ‚ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ Ρ‚ΠΎΡ‡ΠΊΠΈ Π½Π° Ρ‚Π΅Π»Π΅, Π»ΠΈΡ†Π΅ ΠΈ Ρ€ΡƒΠΊΠ°Ρ… Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°, выполняСт ΠΊΠΎΠΌΠΏΠ»Π΅ΠΊΡΠ½ΡƒΡŽ ΠΎΡ†Π΅Π½ΠΊΡƒ ΠΏΠΎΠ·Ρ‹;
🟒Depth. ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для Π·Π°Π΄Π°Ρ‡ ΠΎΡ†Π΅Π½ΠΊΠΈ Π³Π»ΡƒΠ±ΠΈΠ½Ρ‹;
🟒Бanny. ΠžΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°Π΅Ρ‚ края Π½Π° изобраТСниях с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π΄Π΅Ρ‚Π΅ΠΊΡ‚ΠΎΡ€Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠ° Canny;
🟒Lineart. Π˜Π·Π²Π»Π΅ΠΊΠ°Π΅Ρ‚ ΠΊΠΎΠ½Ρ‚ΡƒΡ€Ρ‹ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² ΠΈΠ· ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ, Π² частности для создания рСалистичного воспроизвСдСния с ΡƒΡ‚ΠΎΡ‡Π½Π΅Π½ΠΈΠ΅ΠΌ Ρ‚ΠΎΠ»Ρ‰ΠΈΠ½ ΠΊΠΎΠ½Ρ‚ΡƒΡ€ΠΎΠ²;
🟒AnimeLineart. Π˜Π·Π²Π»Π΅ΠΊΠ°Π΅Ρ‚ ΠΊΠΎΠ½Ρ‚ΡƒΡ€Ρ‹, Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€Π½Ρ‹Π΅ для Ρ‚Π΅Ρ…Π½ΠΈΠΊ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… Π² Π°Π½ΠΈΠΌΠ΅;
🟒MLSD (Mobile Line Segment Detection). ВыдСляСт Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹Π΅ структуры;
🟒Scribble. ΠžΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°Π΅Ρ‚ Π½Π΅Ρ‚ΠΎΡ‡Π½Ρ‹Π΅ ΠΈ Π½Π΅Ρ€ΠΎΠ²Π½Ρ‹Π΅ Π»ΠΈΠ½ΠΈΠΈ. Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для ΠΈΠΌΠΈΡ‚Π°Ρ†ΠΈΠΈ рисунков, ΠΏΠΎΡ…ΠΎΠΆΠΈΡ… Π½Π° скСтчи;
🟒HED (Holistically-Nested Edge Detection). Π˜Π·Π²Π»Π΅ΠΊΠ°Π΅Ρ‚ Π»ΠΈΠ½ΠΈΠΈ с мягкими краями. Он ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ изобраТСния, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΡΠΈΠ»ΠΈΡ‚ΡŒ ΠΈΠ»ΠΈ ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ особСнности Π»ΠΈΠ½ΠΈΠΉ для Π·Π°Π΄Π°Ρ‡, Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‰ΠΈΡ… Π΄Π΅Ρ‚Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ обнаруТСния ΠΊΡ€Π°Π΅Π² ΠΈΠ»ΠΈ Π»ΠΈΠ½ΠΈΠΉ;
🟒Pidi (Softedge). ВыдСляСт Π»ΠΈΠ½ΠΈΠΈ мягких ΠΊΡ€Π°Π΅Π² с использованиСм ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² PiDiNet. Π•Π³ΠΎ Ρ†Π΅Π»ΡŒ - ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ Π·Π°Π΄Π°Ρ‡ΠΈ Π°Π½Π°Π»ΠΈΠ·Π° ΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ ΡƒΡ‚ΠΎΡ‡Π½Π΅Π½Π½Ρ‹Π΅ исходныС Π΄Π°Π½Π½Ρ‹Π΅ для дальнСйшСй ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΈΠ·Π°;
🟒TEED. Π˜Π·Π²Π»Π΅ΠΊΠ°Π΅Ρ‚ Π»ΠΈΠ½ΠΈΠΈ мягких ΠΊΡ€Π°Π΅Π² с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ‚Π΅Ρ…Π½ΠΈΠΊΠΈ TEDDetector;
🟒Segment. ВыполняСт Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΡƒΡŽ ΡΠ΅Π³ΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡŽ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² ΠΈ ΠΈΡ… частСй;
🟒Normal. Π‘ΠΎΠ·Π΄Π°Π΅Ρ‚ ΠΊΠ°Ρ€Ρ‚Ρƒ Π½ΠΎΡ€ΠΌΠ°Π»Π΅ΠΉ Π½Π° основС Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎ-Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ Π°Π½Π°Π»ΠΈΠ· Π³Π»ΡƒΠ±ΠΈΠ½Ρ‹;
🟠Tile Deblur. УстраняСт Ρ€Π°Π·ΠΌΡ‹Ρ‚ΠΈΠ΅ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π°Π½Π°Π»ΠΈΠ·Π° Π½Π°Π»ΠΎΠΆΠ΅Π½Π½Ρ‹Ρ… ΠΏΠ»ΠΈΡ‚ΠΎΠΊ (Tiles) Π·Π°Π΄Π°Π½Π½ΠΎΠ³ΠΎ Ρ€Π°Π·ΠΌΠ΅Ρ€Π° (ΠΎΡ‚ 64Ρ…64 Π΄ΠΎ 1024Ρ…1024);
🟠Tile Variation. Π“Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ Π²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ с нСбольшим ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ΠΌ Π² дСталях ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Tiles;
🟠Tile Super Resolution. ΠšΡ€Π°Ρ‚Π½ΠΎ ΠΏΠΎΠ²Ρ‹ΡˆΠ°Π΅Ρ‚ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π°Π½Π°Π»ΠΈΠ·Π° Π½Π°Π»ΠΎΠΆΠ΅Π½Π½Ρ‹Ρ… ΠΏΠ»ΠΈΡ‚ΠΎΠΊ;
🟠Inpainting. ЗамСняСт ΠΈΠ»ΠΈ добавляСт ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Ρ‹ Π½Π° ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰Π΅Π΅ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅;
🟠Outpainting. Π Π°ΡΡˆΠΈΡ€ΡΠ΅Ρ‚ Π³Ρ€Π°Π½ΠΈΡ†Ρ‹ изобраТСния, сохраняя ΠΎΠ±Ρ‰ΡƒΡŽ ΠΊΠΎΠΌΠΏΠΎΠ·ΠΈΡ†ΠΈΡŽ.

Π’ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ ControlNet++ Π±Ρ‹Π»ΠΈ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Π½Ρ‹ Π΄Π²Π° Π½ΠΎΠ²Ρ‹Ρ… модуля: Condition Transformer ΠΈ Control Encoder, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡƒΠ»ΡƒΡ‡ΡˆΠ°ΡŽΡ‚ прСдставлСниС ΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ условий Π² ΠΌΠΎΠ΄Π΅Π»ΠΈ.
ΠšΠ°ΠΆΠ΄ΠΎΠΌΡƒ ΡƒΡΠ»ΠΎΠ²ΠΈΡŽ назначаСтся ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΉ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€ Ρ‚ΠΈΠΏΠ° управлСния, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ прСобразуСтся Π² эмбСддинги.
Condition Transformer позволяСт ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ нСсколько условий ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΠΎΠ΄ΠΈΠ½ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊ ΠΈ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ слой трансформСра для ΠΎΠ±ΠΌΠ΅Π½Π° ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠ΅ΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ исходным ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ΠΌ ΠΈ условными изобраТСниями.
Condition Encoder ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ²Π°Π΅Ρ‚ количСство ΠΊΠ°Π½Π°Π»ΠΎΠ² свСртки для ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ способности, сохраняя ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»ΡŒΠ½ΡƒΡŽ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρƒ.
Π’Π°ΠΊΠΆΠ΅ Π±Ρ‹Π»Π° использована Сдиная стратСгия обучСния, которая ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π»Π° ΡΡ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ для ΠΎΠ΄ΠΈΠ½ΠΎΡ‡Π½Ρ‹Ρ… условий ΠΈ управляла слияниСм мноТСствСнных условий, ΠΏΠΎΠ²Ρ‹ΡˆΠ°Ρ ΡƒΡΡ‚ΠΎΠΉΡ‡ΠΈΠ²ΠΎΡΡ‚ΡŒ сСти ΠΈ Π΅Π΅ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ ΠΊ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ качСствСнных ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ.

▢️Набор ControlNet Pro Max ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ использован ΠΊΠ°ΠΊ Π² Π²ΠΈΠ΄Π΅ консольного инфСрСнса, Ρ‚Π°ΠΊ ΠΈ Π² интСрфСйсС ComfyUI, Π³Π΄Π΅ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠ°ΠΌΠΈ Π±Ρ‹Π»ΠΈ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½Ρ‹ Π½Π°Π±ΠΎΡ€Ρ‹ Π½ΠΎΠ΄ для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с модСлями ControlNet.
ControlNet Pro Max ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Ρ€Π°Π±ΠΎΡ‚Ρƒ с любой Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ модСлью сСмСйства Stable Diffusion XL. ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° сСмСйства Stable Diffusion 3 находится Π² Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅.


πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ : Apache-2.0 license


🟑МодСль на HF
πŸ–₯Github [ Stars: 1.4K | Issues: 31 | Forks: 22]


@ai_machinelearning_big_data

#AI #ControlNet #ML #Diffusers #SDXL

opendatascience

opendatascience

July 21, 2024, 10:41

🌟 FoleyCrafter: ГСнСрация Π·Π²ΡƒΠΊΠΎΠ²Ρ‹Ρ… эффСктов для Π±Π΅Π·Π·Π²ΡƒΡ‡Π½Ρ‹Ρ… Π²ΠΈΠ΄Π΅ΠΎ.

FoleyCrafter - ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΈΠΊΠ°, разработанная для автоматичСского создания Π·Π²ΡƒΠΊΠΎΠ²Ρ‹Ρ… эффСктов, синхронизированных с Ρ†Π΅Π»Π΅Π²Ρ‹ΠΌ видСорядом
АрхитСктура ΠΌΠ΅Ρ‚ΠΎΠ΄Π° построСна Π½Π° основС ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΠ±ΡƒΡ‡Π΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ прСобразования тСкста Π² Π°ΡƒΠ΄ΠΈΠΎ (Text2Audio). БистСма состоит ΠΈΠ· Π΄Π²ΡƒΡ… ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΎΠ²:

πŸŸ’Π‘Π΅ΠΌΠ°Π½Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠΉ Π°Π΄Π°ΠΏΡ‚Π΅Ρ€ - ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½Ρ‹Π΅ слои cross-attention для обусловливания Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π°ΡƒΠ΄ΠΈΠΎ Π½Π° основС Π²ΠΈΠ΄Π΅ΠΎΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ². ВыполняСт сСмантичСскоС соотвСтствиС Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Ρ… Π·Π²ΡƒΠΊΠΎΠ² Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎΠΌΡƒ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Ρƒ.
πŸŸ’Π’Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€ - Π΄Π΅Ρ‚Π΅ΠΊΡ‚ΠΎΡ€ Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠΊ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ ΠΈ прСдсказываСт ΠΈΠ½Ρ‚Π΅Ρ€Π²Π°Π»Ρ‹ Π·Π²ΡƒΠΊΠ° ΠΈ Ρ‚ΠΈΡˆΠΈΠ½Ρ‹ Π² Π²ΠΈΠ΄Π΅ΠΎ. Π’Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ Π°Π΄Π°ΠΏΡ‚Π΅Ρ€ синхронизируСт Π°ΡƒΠ΄ΠΈΠΎ с Π²ΠΈΠ΄Π΅ΠΎ Π½Π° основС выставлСнных Π΄Π΅Ρ‚Π΅ΠΊΡ‚ΠΎΡ€ΠΎΠΌ Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠΊ.

Оба ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π° ΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΎΠ±ΡƒΡ‡Π°Π΅ΠΌΡ‹ΠΌΠΈ модулями, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°ΡŽΡ‚ Π²ΠΈΠ΄Π΅ΠΎ Π² качСствС Π²Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… для синтСза Π°ΡƒΠ΄ΠΈΠΎ. ΠŸΡ€ΠΈ этом модСль Text2Audio остаСтся фиксированной для сохранСния Π΅Π΅ способности ΠΊ синтСзу Π°ΡƒΠ΄ΠΈΠΎ постоянного качСства.

Π Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ FoleyCrafter ΠΏΡ€ΠΎΠ²Π΅Π»ΠΈ количСствСнныС ΠΈ качСствСнныС экспСримСнты Π½Π° Π½Π°Π±ΠΎΡ€Π°Ρ… Π΄Π°Π½Π½Ρ‹Ρ… VGGSound ΠΈ AVSync15 ΠΏΠΎ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°ΠΌ сСмантичСского соотвСтствия MKL, CLIP Score, FID ΠΈ Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ синхронизации Onset ACC, Onset AP.
По ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ Text2Audio (SpecVQGAN, Diff-Foley ΠΈ V2A-Mapper) FoleyCrafter ΠΏΠΎΠΊΠ°Π·Π°Π» Π»ΡƒΡ‡ΡˆΠΈΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹.

▢️ Π›ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΉ запуск с использованиСм GradioUI:


# Clone the Repository
git clone https://github.com/open-mmlab/foleycrafter.git

# Navigate to the Repository
cd projects/foleycrafter

# Create Virtual Environment with Conda & Install Dependencies
conda create env create -f requirements/environment.yaml
conda activate foleycrafter

# Install GiT LFS
conda install git-lfs
git lfs install

# Download checkpoints
git clone https://huggingface.co/auffusion/auffusion-full-no-adapter checkpoints/auffusion
git clone https://huggingface.co/ymzhang319/FoleyCrafter checkpoints/

# Run Gradio
python app.py --share


πŸ”— Π›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache-2.0


πŸ”—Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°
πŸ”—Arxiv
πŸ”—ΠœΠΎΠ΄Π΅Π»ΠΈ Π½Π° HF
πŸ”—Demo
πŸ”—Github [ Stars: 272 | Issues: 4 | Forks: 15]

@ai_machinelearning_big_data

#AI #Text2Audio #FoleyCrafter #ML

opendatascience

October 22, 2024, 1:07

πŸ‡ΊπŸ‡Έ UPDATE: πŸͺ™ American spot #Bitcoin ETFs have acquired almost twice as much $BTC as has been mined by miners since launching on January 10.

@Facebook_Metaverse_Nfts

opendatascience

opendatascience

July 8, 2024, 17:03

Meta-prompting Optimized Retrieval-augmented Generation

Proposes a method to enhance RAG by refining retrieved content using meta-prompting optimization, demonstrating a 30% performance improvement in multi-hop QA tasks.

πŸ“https://arxiv.org/abs/2407.03955
πŸ‘¨πŸ½β€πŸ’»https://github.com/nlx-group/rag-meta-prompt

@opendatascience