ПРОЕКТ

Программное обеспечение для автоматизированного создания контента из текста в видео

Индивидуальная разработка ПО, Генерация видео на основе искусственного интеллекта, Ввод промптов и сценариев, Монтаж видео, Озвучка и субтитры, Рендеринг и экспорт, Публикация в социальных сетях

  • Отрасль: Видеопроизводство
  • Португалия Местоположение: Португалия
  • Срок выполнения: 16 недель
  • Технологии: JavaScript / TypeScript (Node.js), Python
4+ месяцев

Этот клиент тратит время на преобразование сценариев, изображений и загруженных видеоматериалов в готовые к публикации видео. ПО представляет собой адаптированную под производственную команду студию для преобразования текста в видео: она принимает промпты, сценарии и медиафайлы, а на выходе предоставляет смонтированные видео с озвучкой и субтитрами. Генерация, монтаж и распространение объединены в одном месте, что сокращает объем ручной работы и доработок.

Краткий обзор

Проблема

Производственный процесс клиента включает генерацию, монтаж, добавление субтитров, рендеринг и публикацию, что при выполнении отдельных этапов занимает много времени.

Решение

Решение объединило ввод материалов, генерацию с помощью ИИ и монтаж в одной видеостудии. Также в ней собраны озвучка, субтитры и публикация.

Результат

ПО создано для сокращения ручной работы и доработок на пути от исходных материалов до готового к публикации видео.

История клиента

Клиент - португальская компания по производству видео. Она превращает сценарии, изображения, аудио, информацию о продуктах и загруженные видеоматериалы в видео для цифровых каналов.

Производственная команда тратит время на подготовку исходных материалов, генерацию сцен и последовательное размещение клипов. Перед экспортом в социальные сети команда также добавляет озвучку и субтитры.

Цель была простой: принимать разные типы контента, объединить ИИ-сервисы для генерации и синтеза речи и поддержать весь путь от создания до экспорта.

Решение разработано как модульная студия с экраном ввода и студией сгенерированных видео. В нее также вошло управление озвучкой и субтитрами, а также разделы для рендеринга, экспорта и публикации.

Что требовалось клиенту

  1. Генерировать видео на основе промптов, сценариев, изображений, аудио, данных или видеоматериалов
  2. Объединить ИИ для работы с текстом, изображениями, видео, голосами и речью
  3. Создавать озвучку, субтитры, транскрипции и наложения
  4. Монтировать сцены, заменять клипы, рендерить и экспортировать видео

Почему готовое решение не подошло

Готовые видеоредакторы на основе ИИ поддерживают создание видео из текста, монтаж, запись и распространение, но их описания не соответствуют полному производственному процессу клиента. Ограничения кредитов и платного тарифа одной из альтернатив сделали индивидуальное решение полезным также для определения собственных правил доступа, квот, платежей, хранения и публикации.

Обзор проекта

Первый экран принимает промпт или сценарий вместе с изображениями, видео, аудио и исходными материалами.

Чтобы объединить генерацию и монтаж в одном месте, была создана видеостудия с предпросмотром, списком сцен и таймлайном. Она поддерживает сгенерированные клипы, анимацию изображений и замену клипов.

Особое внимание уделено озвучке и доступности. Голосовые настройки, текст субтитров, файлы субтитров и фоновая музыка управляются в одной панели.

Последний раздел объединяет рендеринг и распространение. ПО создает версии в выбранном формате и разрешении, предлагает ссылки для скачивания и обмена, а также поддерживает рабочие процессы публикации.

Система имеет модульную структуру, поэтому позднее можно добавить доступ к API, подписки и кредиты. Квоты, платежи, хранилище и дополнительные интеграции для публикации также можно добавить без полной переработки продукта.

Реализованные ключевые функции

  • Генерация видео на основе промптов и сценариев
  • Анимация изображений в видеоклипы
  • Импорт видео, аудио, видеоматериалов и данных о продуктах
  • Визуальное расположение сцен на таймлайне
  • Замена клипов и создание вариантов видео
  • Генерация озвучки и изменение голосовых настроек
  • Создание, редактирование и встраивание субтитров в видео
  • Рендеринг в нескольких форматах и разрешениях
  • Скачивание, обмен и публикация видео

Дополнительные функции

+ Подписки и платежи + Кредиты и квоты использования + Доступ к API + Планирование публикаций + Семантический поиск + Дополнительные интеграции с социальными сетями

Кому еще подойдет это решение

У этих компаний похожие задачи по созданию контента, и то же решение можно адаптировать под их рабочие процессы.

Креативное агентство

Задача Превращает сценарии кампаний, изображения и видеоматериалы в рекламные видео для цифровых каналов.
Как помогает решение Решение объединяет генерацию, монтаж, субтитры, рендеринг и публикацию в одном производственном процессе.
Креативные агентства

Медиа-команда

Задача Превращает загруженные или длинные медиафайлы в короткие видео для социальных сетей.
Как помогает решение Студия поддерживает загрузку исходных материалов, расположение сцен, замену клипов, субтитры, рендеринг и экспорт.
Креативные студии

Менеджер социальных сетей

Задача Создает и подготавливает регулярные видео для YouTube, TikTok и других социальных сетей.
Как помогает решение Решение объединяет генерацию с помощью ИИ, озвучку, субтитры, выходные версии и управление публикацией.

Технологический стек

JavaScript / TypeScript (Node.js)

Приложение и медиасервисы

Этот язык программирования поддерживает веб-приложение, интеграции и сервисы обработки медиа.

Python

ИИ- и видеопроцессы

Python поддерживает запросы к ИИ, транскрибацию, управление субтитрами и процессы обработки видео.

openai

Текстовые запросы и запросы к ИИ

openai (официальная клиентская библиотека OpenAI) отправляет запросы для работы со сценариями, текстом и ИИ.

moviepy

Монтаж и композиция видео

moviepy (библиотека обработки видео для Python) объединяет видео, аудио и визуальные элементы.

ffmpeg-python

Обработка и рендеринг медиа

ffmpeg-python (связи Python с FFmpeg) обрабатывает задачи работы с видео, аудио, фильтрами и рендерингом.

pysrt

Редактирование файлов субтитров

pysrt (библиотека файлов субтитров SubRip) редактирует и создает файлы субтитров SRT.

SRT

Титры и субтитры

SRT содержит текст субтитров и временные метки для вывода субтитров и титров, встроенных в видео.

JSON and CSV

Ввод структурированного контента

JSON и CSV передают структурированные данные о продуктах или контенте в видеопроцесс.

Интеграции

YouTube Data API

Рабочий процесс публикации отправляет отрендеренные видео и связанные с публикацией данные на YouTube.

YouTube

Интеграция с YouTube поддерживает получение видео, транскрипции и рабочие процессы публикации.

Instagram

После добавления интеграции платформа может обмениваться с Instagram данными о медиафайлах и аккаунте.

TikTok

Платформа может поддерживать рабочие процессы TikTok через подключение к API TikTok.

OpenAI

OpenAI принимает запросы на создание текста или сценариев и возвращает контент, созданный ИИ для производственного процесса.

FFmpeg

FFmpeg обрабатывает видео и аудио для рендеринга, преобразования форматов и встраивания титров в видео.

Результат

Исходные материалы объединяются в один производственный процесс

Экран ввода предоставляет производственной команде единое место для промптов, сценариев и медиафайлов. До генерации он принимает изображения, видео, аудио и исходные материалы.

Он объединяет исходные материалы для задач преобразования текста в видео и изображения в видео, включая контент, начинающийся с загруженного источника.

Как это работает

  1. Редактор промптов или сценариев содержит текстовые промпты или сценарии для генерации видео.
  2. Области загрузки принимают изображения, видео, аудио, исходные материалы и информацию о продуктах.
  3. Модули генерации создают видео по сценариям, анимируют изображения или импортируют существующие видео.
  • Текстовые промпты и сценарии
  • Изображения, аудио и загруженные видеоматериалы
  • Информация о продуктах или структурированный контент
Ввод промптов и материалов

Ввод промптов и материалов

Функции этого экрана
Генерация видео по сценариям Анимация изображений в видео Создание или импорт видео

Сцены и клипы остаются редактируемыми

Студия сгенерированных видео объединяет предпросмотр, сцены и монтаж на таймлайне в одном месте. Сгенерированные изображения, клипы и сценарии отображаются вместе с длительностью и порядком сцен.

Монтажеры могут заменить клип или загрузить другой до начала рендеринга. Та же студия поддерживает создание вариантов видео из исходного клипа.

Как это работает

  1. Предпросмотр видео показывает сгенерированный контент и его текущее состояние рендеринга.
  2. Список сцен и таймлайн содержат сгенерированные клипы, их длительность и порядок сцен.
  3. Элементы управления клипами заменяют или добавляют загруженные видеоматериалы в видеоряд.
  • Сгенерированные изображения и видеоклипы
  • Порядок и длительность сцен
  • Клипы для замены и варианты
Совет: Один исходный клип может поддерживать несколько вариантов видео для разных выходных форматов.
Студия сгенерированных видео

Студия сгенерированных видео

Функции этого экрана
Генерация изображений и видео с помощью ИИ Автоматическое создание видео Генерация вариантов видео

Озвучка и субтитры создаются вместе

Экран озвучки и субтитров управляет озвучкой, субтитрами и доступностью в одном месте. Выбор голоса, а также настройки высоты тона, темпа и громкости расположены вместе с синхронизацией субтитров и аудиодорожками.

SRT-файлы можно редактировать или создавать, а субтитры - встраивать в финальное видео, если в выходном файле нужен видимый текст.

Как это работает

  1. Управление голосом применяет к озвучке выбранный голос и настройки высоты тона, темпа и громкости.
  2. Редактор субтитров и элементы управления SRT содержат текст, временные метки и выходные данные субтитров.
  3. Микшер объединяет озвучку, фоновую музыку и другие аудиодорожки, а встроенные в видео титры добавляют видимый текст.
  • Настройки озвучки
  • Текст и синхронизация субтитров
  • Вывод субтитров SRT
Примечание: SRT используется в видеопроцессе для титров и субтитров.
Управление озвучкой и субтитрами

Управление озвучкой и субтитрами

Функции этого экрана
Добавление озвучки и субтитров Настройка параметров озвучки Создание титров Редактирование динамических титров Микширование фоновой музыки Поддержка субтитров

Отрендеренные версии передаются на публикацию

Последний экран объединяет рендеринг, экспорт и публикацию. Производственная команда получает данные об отрендеренном видео, ссылки для скачивания и обмена, а также версии для социальных сетей.

Данные об использовании, статус публикации, история видео и журналы хранят детали передачи вместе с отрендерированным результатом.

Как это работает

  1. Очередь рендеринга содержит отрендеренные видео и их статус обработки.
  2. Элементы управления форматом и разрешением создают версии для экспорта в социальные сети и прямые ссылки для скачивания.
  3. Элементы управления публикацией отправляют отрендеренное видео в рабочий процесс публикации и сохраняют его статус и историю.
  • Выбор формата и разрешения
  • Ссылки для скачивания и обмена
  • Статус публикации и история видео
Рендеринг, экспорт и публикация

Рендеринг, экспорт и публикация

Функции этого экрана
Автоматизация рендеринга видео Экспорт видео для социальных сетей Загрузка видео на YouTube Автоматическая публикация контента

Что предлагает решение

С помощью этого решения производственная компания может:

  • Создавать видео на основе промптов, сценариев, изображений, аудио, видеоматериалов и структурированного контента
  • Управлять сценами, клипами и монтажом на таймлайне в одной студии
  • Подготавливать озвучку, титры, субтитры и фоновую музыку
  • Рендерить версии в разных форматах и разрешениях
  • Скачивать, распространять и публиковать готовые видео
  • Расширять платформу с помощью API, квот, подписок и новых интеграций

Справились бы с задачей готовые системы?

До проектирования решения задачу сравнили с готовыми решениями на основе их собственных описаний.

Что нужно клиенту ИИ-сервисы для создания видео Simplified, AI Studios, Steve AI Платформы видеоконтента Goldcast, Vizard, Waymark ИИ-инструменты для видео Hippo Video, Colossyan Creator Индивидуальное решение
Генерация из разных типов исходных материалов частично частично
Объединение ИИ для работы с текстом, изображениями, видео и голосом
Создание титров и озвучки
Монтаж сцен, рендеринг и экспорт
Соответствие собственным правилам клиента: этапам, ролям и отчетам — — —
Все этапы в одном месте — —
Отсутствие ручных действий между программами частично частично частично

На основе общедоступных описаний продуктов и их категорий.

Готовые ИИ-продукты для видео охватывают важные части задачи, включая генерацию, монтаж, озвучку, титры и распространение. Готового продукта достаточно, если требуется только одна из этих частей.

Для этого клиента были важны полный производственный путь и собственные правила доступа, кредитов, хранения и публикации. Эти элементы не были представлены как единая индивидуальная студия, в которой все необходимые этапы автоматизированы вместе.

Итоговый результат

Решение создано для устранения ручной работы и доработок на пути от исходных материалов до готового к публикации видео.

ЧАСТЫЕ ВОПРОСЫ

Планируете создать похожую систему? Ознакомьтесь с ответами ниже, чтобы узнать, как вводимые данные, ИИ-сервисы, монтаж, титры и публикация объединяются в одном продукте.

Нужно что-то похожее? Давайте обсудим
Или посмотрите другие проекты