Голос: синтез, клонирование, дубляж

В каталоге десяток материалов про голос, и они делают три принципиально разные вещи. Если выбрать не то, получите не «почти то же самое», а ничего.

Речь в текст — не голос

Сначала про путаницу, которая встречается чаще всего. Расшифровка записи (Whisper и подобные) — это обратная задача: не «озвучить», а «прочитать». Она нужна, чтобы получить протокол встречи или субтитры.

Модель, которая переводит речь в текст, не умеет говорить. Модель, которая говорит, не умеет слушать. В карточке смотрите, в какую сторону работает инструмент.

Синтез речи

Текст на входе, звук на выходе. Голос берут из готового набора: мужской, женский, спокойный, дикторский.

Качество упирается в интонацию. Хороший синтез ставит паузы и ударения по смыслу, плохой читает ровно, как автоответчик. На слух это разница между «объяснил» и «зачитал».

Раньше это была отдельная профессия — озвучка. Теперь это строчка в скрипте, и именно поэтому в каталоге столько инструментов с пометкой «TTS».

Клонирование голоса

На входе короткая запись человека, на выходе — голос, который говорит вашим текстом. Обычно хватает нескольких десятков секунд.

Два разных случая, которые стоит различать:

Быстрое клонирование по короткой записи. Работает сразу, качество зависит от чистоты записи: без музыки, шума и эха. Часто называется «по образцу».

Обучение на большом объёме. Часы записи, отдельная процедура, результат точнее держит характер голоса. Дороже и дольше.

Отдельно есть голос по описанию: «молодой, тихий, с хрипотцой» — без записи вообще. Звучит как фокус, но это тот же синтез с другим способом задать цель.

Дубляж

Это не одно действие, а цепочка: распознать речь → перевести → синтезировать перевод → уложить в тайминг.

Сложность не в переводе, а в тайминге. Фраза на русском длиннее английской, и в те же две секунды она не влезает. Отсюда три подхода: ускорять речь, сокращать текст или подстраивать видео.

Синхронизация губ — отдельная технология и отдельные деньги. Если в описании сказано «дубляж», это не значит «губы совпадут».

Где граница законного

Голос — это персональные данные, и в некоторых странах — биометрия. Клонировать свой голос можно. Клонировать чужой без разрешения — нет, даже «для теста».

Отдельно про дипфейки: замена лица в видео — та же логика. Инструмент законен, применение без согласия — нет. В карточках мы пишем, что умеет инструмент, а не что с ним можно делать.

Что проверить перед выбором

Язык. Многоязычный синтез часто означает «звучит как иностранец»: слова правильные, ударения нет.

Где считается. Локально — дольше, но запись не уходит. В облаке — быстрее и лучше, но ваш голос хранится у сервиса.

Лицензия голоса. У готовых голосов в библиотеке бывают ограничения на коммерческое использование. Это написано в лицензии, но не в интерфейсе.

Цена за минуту. Синтез обычно считается по символам или минутам, и на длинном проекте разница между сервисами вырастает в разы.

Что с водяными знаками. Некоторые сервисы встраивают в аудио незаметную метку. Это ответ на вопрос «чей это голос», и она остаётся в файле.

Материалы по теме — на полках «Голос» и «Субтитры».