Connect with us

Hi, what are you looking for?

Интресное и непознанное

Nvidia представила ИИ-модель Fugatto, которая «понимает и генерирует звук, как это делают люди»

Nvidia представила ИИ-модель Fugatto, которая «понимает и генерирует звук, как это делают люди»

Nvidia представила новую экспериментальную генеративную модель ИИ, которую компания описывает как «швейцарский армейский нож для звука». Модель Fugatto (Foundational Generative Audio Transformer Opus 1) использует текстовые подсказки для генерации новых или изменения существующих музыкальных, голосовых и звуковых файлов. В создании модели принимали участие разработчики со всего мира, что усилило «многоакцентные и многоязычные возможности модели».

Nvidia представила ИИ-модель Fugatto, которая «понимает и генерирует звук, как это делают люди»

«Мы хотели создать модель, которая понимает и генерирует звук, как это делают люди», — рассказал участник проекта и менеджер по прикладным исследованиям звука в Nvidia Рафаэль Валле (Rafael Valle). Компания предложила несколько сценариев, в которых модель Fugatto может оказаться востребованной:

  • Музыкальные продюсеры могут быстрого создать прототип песни, которую легко редактировать, пробуя разные стили, голоса и инструменты.
  • Fugatto может использоваться при создании инструментов для изучения языка с выбором наиболее подходящего голоса.
  • Разработчики видеоигр могут использовать её для создания вариаций предварительно записанных ресурсов, чтобы соответствовать изменениям в игре на основе выбора и действий игроков.

Исследователи утверждают, что модель при некоторой дополнительной тонкой настройке также может выполнять задачи, не входившие в её предварительное обучение. Модель может объединять отдельные инструкции, например, генерировать речь с определёнными интонациями и акцентом или звук пения птиц во время грозы. Модель также умеет генерировать изменяющиеся со временем звуки, например, шум приближающегося ливня или удаляющегося поезда.

Fugatto не является первой технологией генеративного ИИ, которая может создавать звуки из текстовых подсказок. Ранее Meta✴ выпустила аналогичную модель ИИ с открытым исходным кодом. Google предлагает ИИ-инструмент собственной разработки для преобразования текста в музыку MusicLM, доступ к которому можно получить через сайт компании AI Test Kitchen.

Nvidia пока не предоставила публичный доступ к Fugatto и воздержалась от комментариев на этот счёт.

You May Also Like

Авто-мото

Корпорация Toshiba в сотрудничестве с японским брендом Sojitz и ведущим мировым производителем ниобия, фирмой CBMM, представила в Бразилии электрический автобус-прототип с установленным аккумулятором Toshiba...

Интресное и непознанное

Сегодня я хочу поделиться с вами топ-10 самых популярных и интересных мест для рыбалки на великолепной реке Волге. Итак, хватайте рыболовные снасти и давайте...

Авто-мото

Китайский автомобильный производитель легковых автомобилей Geely представил обновленную модель Coolray, которая получила переработанный дизайн и иной силовой агрегат. Новая версия Geely Coolray получит приставку...

Авто-мото

В ГАИ по Свердловской области рассказали о наезде автомобилиста на 11-летнего ребёнка на велосипеде. Об этом сообщает URA.RU со ссылкой на пресс-службу ведомства. «Водитель...