user10873175

Саунд-дизайнер, композитор и звукорежиссёр. Больше 14 лет работаю в театре и аудиовизуальных проектах, сделал звук и музыку для более сотни спектаклей - от камерных постановок до крупных иммерсивных шоу в России и зарубежом.
Пикабушник
Дата рождения: 7 января
106 рейтинг 0 подписчиков 0 подписок 2 поста 0 в горячем
1

Про ИИ и музыку

Привет! Хочу рассказать про свой опыт работы с ИИ-генераторами музыки и как я использую эти инструменты в профессиональной деятельности композитора и саунд-дизайнера.

Про ИИ и музыку Развитие, IT, Suno, Udio, Искусственный интеллект, Театр, Музыка, Длиннопост

Думаю многие знают про Suno, Udio или более профессиональную AIVA, которая умеет выдавать партии в MIDI. Но большинство людей всё-таки относятся к этим ресурсам как к игрушкам, а не к серьёзным рабочим инструментам.В этом посте хочу показать, как можно использовать ИИ для реальной работы с музыкой.

Предыстория

Меня всегда интересовала тема ИИ, и когда появилась первая модель Suno, я сразу купил про-подписку. Впечатлил сам факт: машина может создавать что-то по текстовому промпту, с любым текстом, и это звучит!

Но очарование было недолгим. В целом по звуку Suno получается очень плоский и пластмассовый результат, который больше подходит для создания забавного контента для TikTok, чем для серьёзной работы.

Udio и почему я выбрал его.

Примерно тогда же появилась альфа-версия Udio, и я стал одним из первых её пользователей в мире и до сих пор использую этот ресурс в работе.

Принципиальное отличие Udio от других моделей - это живость звучания! Очень сложно, не зная заранее, отличить сгенерированную музыку от написанной живым человеком. Вероятно, всё дело в том, на каких данных натренирована модель.

Подход к работе с ИИ

Главный вопрос: как использовать этот ресурс в качестве инструмента, если ты работаешь со звуком профессионально и хочешь сохранить авторский стиль?

Я нашёл такой подход:

В Udio есть возможность загрузки пользовательского аудио. На основе этой загрузки ИИ анализирует материал и может продлить его (Extend), попытаться изменить отдельные части (Inpaint) или сделать ремикс.

Мой рабочий процесс:

1. Пишу демку на минуту - своими руками, в своём стиле

2. Загружаю в Udio и работаю в режиме Extend

3. Прошу продолжить, делая конкретный запрос

4. Экспериментирую с промптами и настройками

С первого раза, конечно, никогда не получается идеально, и промпт приходится дорабатывать. Но ресурс позволяет это делать. Часто получаются очень интересные вариации.

Конкретный пример из моей работы: писал песню для спектакля на стихи Шекспира. Аккорды в припеве и вокальную партию мне подсказал Udio. В итоге я, совсем немного переделал мелодию под себя, ИИ очень помог! (Послушать можно тут)

Параметры и настройки

ИИ умеет копировать авторский стиль, и при разных настройках параметра Context Length выдаёт интересные продолжения и вариации. Этот параметр определяет, сколько окружающего материала учитывает модель при генерации.

AIVA: теория vs практика

Отдельно стоит упомянуть AIVA - этот сервис делает упор на классическую музыку и может выдавать MIDI-файлы. Подход интересный, но на практике оказалось, что проще написать партию самому, чем вытаскивать и дорабатывать их заготовки.

Цены (июнь 2025):

Udio:

- Бесплатно: 10 кредитов в день + 100 в месяц

- Standard ($10/мес): 1200 кредитов + Audio Inpainting

- Pro ($30/мес): 4800 кредитов + все функции

Audio Inpainting — возможность редактировать отдельные части трека, доступна только в платных планах.

Suno:

- Бесплатно: 50 кредитов в день, только для личного использования

- Pro ($10/мес): больше кредитов + коммерческое использование

- Premier ($30/мес): максимум кредитов + все функции

AIVA:

- Бесплатно: только для некоммерческого использования с указанием авторства AIVA

- Standard (~$15/мес): для контент-криейторов, монетизация на YouTube/Twitch/TikTok/Instagram

- Pro (~$49/мес): полные авторские права, без ограничений на использование

Для студентов и учебных заведений AIVA предоставляет скидки: 30% на годовые планы и 15% на месячные.

Вопрос авторских прав

Важный момент, который многие игнорируют: согласно пользовательским соглашениям, права на сгенерированную музыку получают только пользователи с платными подписками. У бесплатных пользователей права ограничены.

Кроме того, остаётся открытым вопрос о том, как эти сервисы получили права на музыку, использованную для обучения моделей. Возможны будущие судебные разбирательства с правообладателями.

Выводы

ИИ в музыке — это инструмент, который может помочь в творческом процессе, но не заменяет человеческое творчество. Он хорош для:

- Поиска новых идей при творческом ступоре

- Быстрого прототипирования

- Получения неожиданных музыкальных решений

Главное — использовать его как помощника, а не пытаться полностью заменить собственное творчество.

Если было интересно можешь подписаться на мой телеграм-канал «Начальник звукоцеха», где я рассказываю про звук и музыку в театре и не только (ссылка на канал)

Показать полностью 1
6

Как сделать иммерсионный спектакль в наушниках почти без оборудования

TL;DR: Вместо аренды дорогого Silent Disco оборудования использовал приложение ListenTo + смартфоны зрителей. Получилось в 100 раз дешевле и работает отлично.

Вступление

Привет! Меня зовут Ян, я саунд-дизайнер, композитор и звукорежиссёр. Больше 14 лет работаю в театре и аудиовизуальных проектах, сделал звук и музыку для более сотни спектаклей - от камерных постановок до крупных иммерсивных шоу в России и зарубежом.

Сегодня расскажу, как делал в Самарканде рекламный спектакль-прогулку в наушниках для компании Panasonic.

Как всё начиналось

Звонит мне режиссер Ярик Максименко и говорит:

"Привет Ян, а напиши-ка мне музыку и сделай-ка мне звуки для проекта в Узбекистане. Нужно, чтобы три группы зрителей по 30 человек в каждой, одновременно шагали по трем разным маршрутам, при этом у каждого маршрута свой сценарий, актеры играют под записанный заранее текст, который тоже звучит у них в наушниках и вот это вот всё должно как-то работать в реальном времени, триггериться вручную и не разваливаться на молекулы."

Ну окей, подумал я. Про музыку и звуки у меня вопросов не было, нужно было решить что там с механикой.

Проблема: где взять оборудование в Узбекистане?

Я много раз делал спектакли-променады и первым делом подумал про проверенные Silent Disco-системы (типа QuietTune или Silent Eve). Они надёжные, понятные, всё с ними хорошо.

Но... Оказалось, что для подобного рода штуковин нет точки респауна в Узбекистане, а брать в аренду в соседнем Казахстане или покупать из Китая - дико дорого и не рентабельно. Это стало головняком, на некоторое время погрузив меня в долгие раздумья и общение с нечеловеческим интеллектом в лице Chat GPT.

Наш продюсер Яна нашла что-то похожее на Silent Eve в Ташкенте - какие-то аудиогиды для экскурсий, работающие так же по принципу трансмиттер-ресивер, но их качество звука привело нас в страшное уныние и пришлось искать пути дальше.

Решение: приложение ListenTo

После некоторого времени, проб разных вариантов, ошибок и нескольких штурмов мозгами решение было найдено.

Спасательным кругом была выбрана программа ListenTo от компании Audiomovers

Что это такое: приложение (бывает как standalone, так и в плагиновой форме), которое можно как плагин кинуть на мастер-канал в своей любимой DAW, запустить стрим и получить ссылочку. И вот по этой ссылочке любой смертный (с телефоном, планшетом, или другой железкой с выходом интернеты) может подключиться и услышать то, что ты стримишь. В хорошем качестве. Без экспорта. Без костылей и, что самое важное - почти без задержки!

Вообще на сколько я понимаю полезна эта штуковина в первую очередь пацанам и девчонкам, которые сводят что-то большое и с привязкой к таймингу (например звук для кино), так как приложение умеет выдавать MTC, а так же раздавать 5.1, 7.1 и всякое другое.

Но я решил использовать программу по-своему - как возможную альтернативу системам Silent Disco, купил подписку и начал тестить.

Техническая реализация

Железо и софт:

Для начала, с условием использования Listen To как платформы для проведения спектакля, нужно было понять, что там с интернетом на территории комплекса. Рассчитав нужную скорость мы обратились к техникам из Самарканда и они согласились выделить нам сеть на территории комплекса.

Чтобы стримить звук из Qlab я использовал виртуальную звуковую карту BlackHole 16ch от Existential Audio. Вся конфигурация приложений (Qlab, BlackHole, ListenTo) была установлена на три разных макбука, так как для каждого маршрута точки старта и дальнейшего следования отличались и соответственно аудио тоже отличалось.

Испытания:

Были проведены испытания, чтобы проверить задержку и качество подключения. Я сделал небольшой проект в Qlab, с записанным голосом проводника, который предлагал испытуемым поделать разные действия для выявления задержек и работы приложения на их смартфонах.

В итоге выяснилось, что приложение в виде плеера справляется с задачами блестяще: задержек практически нет, можно открывать смартфон и делать селфи, пользоваться мессенджерами и при определенных настройках даже снимать видео. Но вот через браузер на смартфонах стрим жестко лагал, так мы поняли, что нам придется заставить 100 человек установить приложение на свои устройства.

Проведение спектакля

За три дня до мероприятия мы приехали в Самарканд, собрали актеров, начали репетировать и тестить системы. Тут начались проблемы.

Проблема №1: Интернет

Первой и самой большой проблемной точкой стало то, что система Wi-Fi-антенн на территории комплекса выстроена так, что переключение с антенны на антенну не всегда происходит бесшовно, а еще в некоторых локациях антенн вообще не было (спасибо местным ребятам, которые очень быстро постарались все это исправить и доставить). В связи с этим мог отвалится стрим, что конечно посеяло во мне некое разочарование и раздражение.

Но мы нашли выход - мобильный интернет и его раздача пользователям. Было куплено несколько сим-карт местного мобильного оператора с безлимитным пакетом интернета и поддержкой 5g, после тестов на которых ничего не отваливалось и все работало, мы решили перейти на такую систему.

Проблема №2: Как доставить ссылки зрителям

Второй проблемой было понять как доставить приложение и три разных ссылки зрителям. Для этого я воспользовался сервисом taplink, где размещались ссылки на скачивание или открытие приложения и кнопка, которая копировала нужную ссылку. Зрители были разделены на группы заранее, каждому выдана табличка с qr-кодом ведущим на нужную taplink-страницу.

(ЗЫ сам таплинк не умеет делать кнопку, которая копирует что-то в буфер обмена, пришлось сделать это с помощью простого html-кода)

Итоги: что получилось

В итоге все сработало, мероприятие прошло успешно, хотя и были небольшие сложности. Подведем итоги.

Плюсы:

Цена: Подписка в 24 доллара в месяц по сравнению арендой Silent Eve из Казахстана или покупки таких систем дала экономию в 100 раз по самым скромным подсчётам!

Задержка: можно выстроить 0.05 сек на отдачу, мой roundtrip был в районе 1,5 секунд - совсем не плохо.

Качество звука: настраиваемые частота дискретизации, кодеки передачи, битрейт, все звучит очень и очень достойно!

Никакого дополнительного оборудования: твоя рабочая станция - трансмиттер, смартфоны пользователей - ресиверы.

16 отдельных моно-каналов с регулировкой громкости внутри приложения + MTC поддержка для работы с видео по таймкоду.

До 150 пользователей в одной сессии (платная подписка), количество сессий не ограничено.

Удалённая работа: можешь в реальном времени делиться звуком с командой из разных стран.

Минусы:

Интернет-зависимость: нужен очень стабильный интернет с достаточной скоростью, могут случаться проблемы с буфферизацией.

Проблема с подключением: чтобы подключиться к стриму у зрителя должно быть установлено приложение, должна быть нужная ссылка, все это нужно продумывать.

Рассинхрон устройств: есть вероятность, что задержка на разных устройствах будет не синхронной из-за буферизации. В целом не критично, но нужно учитывать при построении шоу, потому что может влиять на восприятие.

🏁 Подводя итог

Подводя итог - могу сказать, что это классная альтернатива классическим системам трансмиттер-ресивер за очень умеренные деньги и крутой инструмент если ты работаешь с кем-то из разных частей мира.

Надеюсь этот пост был тебе полезен и ты узнал что-то новое. Пиши в комменты, что стоило бы изменить или добавить. А ещё, если тебе интересно можешь подписаться на мой телеграм-канал «Начальник звукоцеха», где я рассказываю про звук и музыку в театре! (Ссылка на канал)

Показать полностью
Отличная работа, все прочитано!