По словам Beating, команда ИИ Xiaomi выпустила и открыла исходный код ControlFoley — фреймворка для генерации видео-аудио, который предоставляет создателям точный контроль над стилем звука с помощью текстовых описаний или референсного аудио. В отличие от традиционных систем ИИ-дубляжа, которые определяют звук только по визуальным данным, ControlFoley позволяет изменять аудио-характеристики — например, превратить стук в дверь в металлический удар или применить барабанные тона к попаданиям теннисного мяча — при этом сохраняя синхронизацию аудио и видео. Фреймворк использует аудио-визуальный энкодер «время-пространство» с стратегией развязки «время-тембр». Технический отчёт проекта, код, веса модели и демо теперь доступны.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

Связанные новости

05-29 00:26

Gemini запускает командный центр источников данных для ИИ с поддержкой Grok 29 мая

05-28 20:44

Gemini запускает ленту Feed с командным центром на базе ИИ, работающую на Grok и SpaceX AI

05-28 16:37

OpenAI выпустила рамочную систему управления Frontier Governance, чтобы согласовать её с требованиями прозрачности Калифорнии и законами ЕС об ИИ

05-28 06:32

iFlytek запускает AI-очки с переводом в реальном времени на 122 языка и сверхлёгкой рамой весом 40 г 28 мая

05-27 20:27

ElevenLabs получила лицензии на использование голоса и образа ИИ-версии Стэна Ли для платформы ElevenCreative 27 мая

Детальный анализ