Монтаж видео нейросетью: как ИИ-агент собрал минутный ролик из четырёх минут черновика
Я записал четыре минуты болтовни на телефон — с паузами, «эээ» и откашливаниями. Дальше не притронулся к монтажу. Агент сам расшифровал запись, отобрал сильные фразы, вырезал пустоты, собрал таймлайн в OTIO, наложил караоке-субтитры, заменил фон и уложил всё ровно в 60 секунд под вертикальные площадки. Ниже — результат и разбор каждого шага.
Я довольно много выступаю и записываю короткие ролики. И у этого жанра есть неприятная арифметика: минута готового видео — это час-полтора монтажа. Расшифровать, выбрать, что оставить, вырезать паузы, набить субтитры, подложить перекрытия, ужать под вертикальный формат. Работа несложная, но настолько монотонная, что съедает всякое желание записывать регулярно.
Поэтому я отдал её агенту целиком и посмотрел, что получится. Не «помоги с монтажом», а буквально: вот исходник, верни готовый ролик.
Что именно делает агент
Разложу по шагам — это и есть весь конвейер автоматического монтажа видео.
1. Расшифровка с пословными таймкодами
Первое, что происходит с записью, — распознавание речи. Но не просто «текст целиком», а с привязкой каждого слова к таймкоду в исходнике. Именно эта пословная разметка потом позволяет резать по смыслу, а не по силе звука.
2. Отбор сильных фраз
Дальше агент читает расшифровку и решает, что вообще стоит оставить. Из четырёх минут отбирается 5–6 фрагментов, которые несут смысл: тезис, пример, вывод. Остальное — подводки, повторы, «ну вот сейчас я покажу» — отбрасывается.
Это самый спорный шаг, и именно здесь чаще всего хочется поспорить с машиной. Но поскольку на выходе есть редактируемый таймлайн, вернуть выброшенный кусок — вопрос одной правки.
3. Вырезание пауз, вдохов и «эээ»
Внутри оставленных фрагментов вычищается мусор: тишина между словами, вдохи, откашливания, слова-заполнители. Фрагменты склеиваются встык, с микро-подрезкой на стыках, чтобы монтаж не звучал рвано. На этом одном шаге хронометраж обычно падает на 20–30% без потери смысла.
4. Таймлайн в OTIO — а не только готовый файл
Вот деталь, которая для меня оказалась решающей. Агент отдаёт не только смонтированный MP4, но и таймлайн в формате OTIO (OpenTimelineIO) — открытом описании монтажной сборки: какие фрагменты исходника, с какими таймкодами и в каком порядке. Плюс EDL и FCPXML.
Это значит, что результат можно открыть в DaVinci Resolve или Kdenlive, подвинуть склейку руками и пересобрать. Агент не запирает вас в своём чёрном ящике — он выдаёт нормальный монтажный проект, с которого можно продолжить.
5. Субтитры, фон и хронометраж
Дальше — караоке-субтитры с подсветкой произносимого слова (они заметно удерживают просмотр в ленте), замена фона, заставка, перекрытия поверх говорящей головы. И финальная подгонка: ролик ужимается ровно под минуту, потому что это общий знаменатель для вертикальных площадок.
Что получилось, а что — нет
Получилось: черновая сборка с первого прогона. Смысл собран, паузы убраны, субтитры на месте, хронометраж выдержан. То есть ровно те 80% механической работы, ради которых обычно и зовут монтажёра.
Не получилось: режиссура. Ритм, драматургия, музыкальные акценты, выбор «вот на этой фразе надо задержаться» — здесь машина пока предлагает усреднённое решение. И иногда она выбрасывает фразу, которая мне казалась главной.
Но разница между «переделать всё» и «подвинуть две склейки в готовом таймлайне» — принципиальная. Первое убивает регулярность, второе — нет.
Открытый вопрос
Мне правда интересно, где здесь граница. Останется ли монтаж профессией через год — или станет тем же, чем стала вёрстка текста после появления текстовых редакторов: навыком, который нужен единицам, а всем остальным хватает кнопки?
И второй вопрос, более практичный: где та черта, после которой автоматическая сборка перестаёт быть «черновиком для монтажёра» и становится финальным продуктом? По моим ощущениям, для говорящей головы в вертикальном формате эта черта уже пройдена.
Как попробовать самому
Агент, который собрал ролик выше, живёт в Telegram — @lite_harness_bot. Пришлите ему свою запись и попросите собрать вертикальный ролик на минуту с субтитрами. Он же доступен в MAX — по этой ссылке.
Совет из практики: начните не с идеального дубля, а как раз с сырой записи — с паузами и оговорками. Именно на таком материале видно, что агент действительно делает, а не имитирует.
Что из этого выйдет и куда всё движется — разбираю в своём телеграм-канале @yaroslav_shuvaev. Тот же канал есть и в MAX — max.ru/channel_shuvaev.
Частые вопросы
Может ли нейросеть смонтировать видео полностью сама?
Что такое таймлайн в формате OTIO и зачем он нужен?
Как нейросеть вырезает паузы и слова-паразиты из видео?
Получится ли хороший результат с первого раза?
Нужны ли навыки монтажа, чтобы этим пользоваться?
Обсудить в вашем контексте
Начните с 90-минутной Диагностики автономности. На выходе — карта зрелости ваших процессов и 3 приоритизированные инициативы.
Записаться на диагностику →