Китайцы решили убить всех и сразу в генерации звука — анонсирована AudioX, модель, которая умеет: — Text-to-Audio: классическая генерация звуков по текстовому описанию; — Video-to-Audio: загрузили видео — получили к нему аудиоряд; — Text-and-Video-to-Audio: микс двух предыдущих вариантов; — Audio-Inpainting: дорисовка аудио. Например, вы записали шум моря, но кто-то на фоне кашлянул. Вырезали неудачный момент — сгенерировали подходящий фрагмент взамен; — Text-to-Music: Suno ВСЁ; — Video-to-Music: вот это самое прикольное — загрузили видео, получили песенку под него, и вместе получается клип; — Text-and-Video-to-Music: если хочется, чтобы песня в клипе была в определённом стиле/жанре/с конкретным вокалом; — Music-Completion: то же самое, что Audio-Inpainting, только с музыкой. Пока без кода, обещают выложить — здесь.

Китайцы решили убить всех и сразу в генерации звука — анонсирована AudioX, модель, которая умеет: — Text-to-Audio: классическая генерация звуков по текстовому описанию; — Video-to-Audio: загрузили видео — получили к нему аудиоряд; — Text-and-Video-to-Audio: микс двух предыдущих вариантов; — Audio-Inpainting: дорисовка аудио. Например, вы записали шум моря, но кто-то на фоне кашлянул. Вырезали неудачный момент — сгенерировали подходящий фрагмент взамен; — Text-to-Music: Suno ВСЁ; — Video-to-Music: вот это самое прикольное — загрузили видео, получили песенку под него, и вместе получается клип; — Text-and-Video-to-Music: если хочется, чтобы песня в клипе была в определённом стиле/жанре/с конкретным вокалом; — Music-Completion: то же самое, что Audio-Inpainting, только с музыкой. Пока без кода, обещают выложить — здесь.