VoxCPM2

VoxCPM2: живое озвучивание текста без токенизатора, создание голосов и реалистичное клонирование на 30 языках VoxCPM, превращает текст в живую речь напрямую, не дробя звук на отдельные дискретные токены. Сквозная архитектура модели объединяет диффузию и авторегрессию, сразу выстраивая непрерывный звуковой поток. Благодаря отказу от искусственной ступенчатой токенизации голос звучит цельно, естественно и интонационно богато.

VoxCPM2 стал самым масштабным обновлением в семействе. Модель насчитывает 2 миллиарда параметров и обучена более чем на 2 миллионах часов многоязычных записей. Опираясь на языковую базу MiniCPM-4, она свободно говорит на 30 языках, конструирует новые голоса по текстовому описанию, поддерживает управляемое клонирование и сразу выдает звук студийного качества с частотой 48 кГц.

Главные особенности Свободное озвучивание на 30 языках: подавайте текст на любом из тридцати поддерживаемых языков, и модель озвучит его напрямую без языковых тегов или ручного переключения режимов.

Создание голоса: создавайте совершенно новые голоса с нуля по обычному текстовому описанию (пол, возраст, тембр, настроение, темп речи) без каких-либо звуковых образцов.

Управляемое клонирование: копируйте любой голос по короткому аудиофрагменту и направляйте манеру чтения с помощью текстовых подсказок, меняя эмоции, скорость и экспрессию при полном сохранении исходного тембра.

Эталонное клонирование: передайте аудиообразец вместе с его дословной расшифровкой, чтобы модель бесшовно продолжила речь диктора, бережно сохраняя мельчайшие детали голоса (тембр, ритмику, интонации и живую подачу, как в версии VoxCPM1.5).

Студийный звук 48 кГц: даже по исходной записи с частотой 16 кГц система сразу формирует чистый аудиопоток 48 кГц. За это отвечает асимметричная схема кодирования и декодирования AudioVAE V2 со встроенным алгоритмом сверхразрешения, поэтому внешние улучшатели звука не требуются.

Понимание контекста: модель сама улавливает смысл фразы, подбирая подходящую мелодику, паузы и эмоциональные акценты.

Потоковая работа в реальном времени: на видеокарте NVIDIA RTX 4090 коэффициент реального времени (RTF) составляет около 0,3 (озвучивание идет втрое быстрее длительности самой речи), а с движками Nano-vLLM или vLLM-Omni показатель ускоряется до 0,13. Официальная интеграция с пакетом vLLM-Omni включает механизм PagedAttention и программный интерфейс стандарта OpenAI.

Открытый код и коммерческая лицензия: веса и исходный код опубликованы под лицензией Apache-2.0 и полностью открыты для коммерческого использования.

Поддерживаемые языки (30) Языки: английский, арабский, бирманский, вьетнамский, греческий, датский, иврит, индонезийский, испанский, итальянский, китайский, корейский, кхмерский, лаосский, малайский, немецкий, нидерландский, норвежский, польский, португальский, русский, суахили, тагальский, тайский, турецкий, финский, французский, хинди, шведский, японский.

Диалекты китайского языка: сычуаньский, кантонский (юэ), у, дунбэйский, хэнаньский, шэньсийский, шаньдунский, тяньцзиньский, южноминьский (миньнань).

Дообучение, документация и экосистема Дообучение под собственные задачи

VoxCPM поддерживает как быструю адаптацию методом LoRA (обновляется менее 1% весов при замороженной базовой модели), так и полное дообучение (SFT) для внедрения новых языков или глубокой перестройки на выборках свыше 500 аудиозаписей. Чтобы приучить модель к новому голосу или особой манере чтения, достаточно подготовить от 5 до 10 минут чистых записей длительностью от 3 до 30 секунд на фрагмент. Для запуска обучения и проверки результата в браузере предусмотрен графический интерфейс на базе Gradio (python lora_ft_webui.py).

Экосистема и проекты сообщества Мы рады видеть, как растет сообщество разработчиков вокруг VoxCPM. Ниже перечислены ключевые инструменты от независимых авторов (они развиваются силами сообщества и официально не сопровождаются командой OpenBMB):

• NanoVLLM-VoxCPM: высокоскоростной серверный движок для видеокарт.

vLLM-Omni: официальный модуль для развертывания VoxCPM2 на стеке vLLM с непрерывной группировкой запросов и поддержкой API стандарта OpenAI.

• VoxCPM.cpp и llama.cpp-omni: локальный запуск моделей в форматах ggml и GGUF через CPU, CUDA, Metal и Vulkan.

• VoxCPM-ONNX и VoxCPM-RKNN2: экспорт и запуск моделей в среде ONNX и на встраиваемых нейропроцессорах Rockchip.

• VoxCPMANE: порт для работы на нейронных сопроцессорах Apple Neural Engine.

• voxcpm_rs: реализация движка синтеза на языке Rust.

• MLX-Audio: запуск генерации, серверный интерфейс и веб-панель на базе фреймворка MLX для компьютеров с чипами Apple Silicon.

• ComfyUI-VoxCPM, ComfyUI_RH_VoxCPM и ComfyUI-VoxCPMTTS: узловые модули для визуальной среды ComfyUI с поддержкой многоголосых диалогов, конструирования голосов, горячей замены адаптеров LoRA и автоматического распознавания речи.

• Video Dubbing Translator: инструмент для автоматического перевода и дубляжа видеороликов с сохранением тембра оригинального спикера и синхронизацией губ.

• TTS WebUI Extension: расширение для озвучивания текста в браузере.