Пайплайн: Seedance 2.5 говорить на укр. Як? ⚡️⚡️⚡️
Перше відео у форматі 480 16:9 - те, як seedance відтворює укр текст. Текст наступний був:
Усі говорять про нову GPT Astra. А ви ще не розібрались зі стареньким ChatGPT? Тоді ця новина для вас. 14 вересня в Нейропросторі ми починаємо навчання для AI кріаторів. 17 практичних уроків, по 2 на тиждень. Від налаштування ChatGPT до роботи у креативних софтах. Навчання входить у підписку за 2000 грн на місяць. Також є окремий доступ на рік. Переходьте за посиланням і приєднуйтеся!
Друге відео - вже краще, але є проблеми.
Це саме той пайплайн, який розкручують інфоцигани. Типу закидуєте аудіо файл з вашим голосом і на виході буде гарна вимова. Все вірно. Якщо ви сперли ідею в русні (а саме там такий пайплайн розкручують і він дійсно працює) то на ру це буде працювати. Але не на укр. Буде польсько китайська.
Третє відео - чітка українська. То як це робиться?
Крок 1. Референсна генерація
Ви генеруєте відео на базі референсів, і дійсно закидаєте аудіо файл з вашим голосом, як аудіо референс.
Крок 2. Підгонка звуку
Закидуєте відео у монтажну программу і ваш голос підганяєте під швидкість вимови у відео. Ключовий лайфхак в тому, що на етапі один ви отримаєте плюс мінус схожу швидкість говоріння з вашою і жести під цю вимову підлаштуються. Але не ліпсінк.
Крок 3. Ліпсінк
Нам потрібен sync lip sync 2 pro або 3. Він також є в pixverse minim apps. Тут він найдешевший. Тут ми і робили. Закинули відео, закинули підігнаний звук. Отримали ліпсінк
Крок 4. Обʼєм звуку
Звук записаний на мікрофон, навіть після обробки буде звучати не так обʼємно, як записаний на відстані, в студії, в атмосфері. Проте це легко виправити. Варіантів декілька
- закиньте звук у chat gpt. попросіть виправити звук, зробити обʼємніший, так щоб він був на дистанції.
- встановить Davinci Resolve, підключіть mcp. Поставте задачу в чату - зроби корекцію звуку, ревербарацію, дистанцію, обʼєм, попрацюй з еквалайзером
- все те саме, але в ручне - робота з еквалайзером. Він є в Davinci Resolve або Adobe Audion. Якщо не знаєте як параметри виставляти - закиньте відео в чат, скріншот софта в чат і попросіть поради в чаті. Він опише варіант, який підійде на 80% точно.
Користуйтесь)
🚀 TG | 📺 YT |🤪 IG