VideoLingo

VideoLingo - полностью автоматизированный ИИ-инструмент для создания субтитров и дубляжа видео на уровне Netflix. Проект объединяет в одном интерфейсе распознавание речи, умную нарезку фраз, перевод, выравнивание таймингов и озвучку. Он работает по принципу «все в одном клике» через удобную веб-панель Streamlit.

Ключевые возможности

• Загрузка и распознавание: встроенная интеграция с yt-dlp позволяет скачивать видео напрямую с YouTube. Посегментное распознавание речи и точное выравнивание слов выполняются локально с помощью моделей Qwen3-ASR и Qwen3-ForcedAligner.

• Умный перевод субтитров: нейросеть не просто переводит текст, а адаптирует его под стандарты кино. Система сама разбивает фразы по длине, использует ИИ для создания словаря терминов ради связности текста и выполняет финальную полировку для естественного звучания.

• Клонирование голоса и дубляж: проект поддерживает наложение новой озвучки поверх видео. Доступна интеграция с популярными TTS-сервисами: GPT-SoVITS, OpenAI, Edge TTS, Fish Audio и F5-TTS.

• Управление задачами: процесс обработки можно поставить на паузу, продолжить или остановить на любом этапе благодаря подробному логированию и кэшированию успешных шагов.

Варианты установки и интеграции Инструмент кроссплатформенный и работает на Windows, macOS и Linux.

• Для Windows (в один клик): в разделе релизов доступен архив, где достаточно запустить файл OneKeyStart.bat. Скрипт сам установит менеджер uv, Python 3.12, FFmpeg и все зависимости, после чего откроет приложение в браузере.

• Из исходного кода: классический запуск через терминал с помощью команды uv run start.py. Docker: проект можно развернуть в Linux-контейнере с поддержкой NVIDIA CUDA для ускорения работы моделей на видеокарте.

HTTP API: вместо старого пакетного режима через Excel в проект добавлен локальный API-сервер. Его можно запустить командой uv run start.py –api для интеграции VideoLingo в сторонние скрипты и автоматизации.

Текущие ограничения

1. Качество распознавания и таймингов сильно зависит от фонового шума в видео. Знаки препинания и цифры иногда могут иметь неточные маркеры времени.

2. Локальное распознавание эффективно работает только с одним основным языком в аудиофайле, смеси языков могут обрабатываться некорректно.

3. В текущей версии дубляж не умеет автоматически разделять голоса спикеров, если в видео говорят несколько человек.