WhisperLiveKit

Ведение протоколов встреч всегда было довольно муторной задачей. Сначала нужно закончить запись, потом дождаться расшифровки, а на выходе часто получаешь один большой кусок текста без нормального разделения. Кто какую фразу сказал, приходится восстанавливать по памяти. После двухчасовой встречи на приведение записи в порядок легко может уйти ещё час.

WhisperLiveKit это сервис для голосовой расшифровки в реальном времени, который можно развернуть у себя. Текст появляется прямо во время разговора. Есть и разделение речи по участникам: используются Sortformer или Diart, поэтому готовая расшифровка сразу показывает, кто что сказал.

При необходимости можно подключить перевод, чтобы на многоязычных встречах текст и перевод появлялись одновременно с речью.

Большой выбормоделей: Whisper, Faster Whisper, MLX Whisper, FunASR SenseVoiceSmall, Voxtral, Qwen3 ASR и NVIDIA Canary. Например, Canary поддерживает 25 европейских языков и умеет выдавать временные метки для каждого слова. Qwen3 ASR работает на CUDA, Apple MPS и обычном CPU.

Для интеграции доступны сразу несколько вариантов: REST API, совместимый с форматом OpenAI для транскрипции аудио, WebSocket, совместимый с Deepgram, и собственный интерфейс потоковой передачи в реальном времени. Поэтому при переходе с другого сервиса код во многих случаях практически не придётся менять.

Для Apple Silicon, обычных CPU и NVIDIA GPU предусмотрены отдельные конфигурации зависимостей. Проект распространяется под лицензией Apache 2.0 и поддерживает одновременную работу нескольких пользователей.

Все данные остаются на вашем компьютере или сервере, поэтому записи встреч можно хранить и обрабатывать без отправки их наружу.