📌MiniMax відкрила Music 3 — модель для генерації повноцінних пісень

📌MiniMax відкрила Music 3 — модель для генерації повноцінних пісень

MiniMax опублікувала код і ваги Music 3. Модель генерує композиції тривалістю до п'яти хвилин із вокалом, інструментами та розвитком аранжування, причому структуру пісні можна задавати досить детально.

🔆Детальніше

• На вході можна задати текст пісні та опис звучання.

• Модель розуміє структуру композиції: вступ, куплет, приспів, брідж, інструментальну частину та фінал.

• Окремо можна описати жанр, BPM, тональність, вокал, інструменти та розвиток музики протягом треку.

• В основі лежить Global LLM на 8B параметрів для довгострокової структури та Local LLM на 0,6B для деталізації звуку.

• Додатково використовується система синтезу на основі Flow Matching та Flow-VAE.

• На виході модель створює стерео WAV у 32 кГц та 16 біт.

• Модель можна запускати локально. У повному режимі вона вкладається менш ніж у 24 ГБ VRAM.

• За допомогою автоматичного вивантаження частини обчислень у RAM модель можна запустити навіть на відеокарті з 8 ГБ VRAM, але повільніше.

• Для запуску вже є підтримка SGLang, Diffusers та ComfyUI.

➡️Код тут.
➡️Ваги тут.

➡️Запроси друга до НейроЄнота🦝