Голосовой ассистент: куда уходят секунды и как сократить паузу до ответа

Голосовой помощник ощущается «умным» или «тормозящим» не по качеству ответов, а по паузе между вашей фразой и его голосом. Когда я делал помощника для управления компьютером, первая версия отвечала правильно, но владелец сказал одно слово: «тормозит». Я измерил каждый этап и стал убирать самые тяжёлые.

Цепочка из четырёх звеньев

Любая реплика проходит четыре этапа: распознать имя-активатор, распознать команду, получить ответ от языковой модели и озвучить его. Задержки складываются, поэтому выигрыш даёт каждое звено. Я мерил их отдельным скриптом, а не на слух.

Распознавание речи

Имя-активатор распознаётся локально лёгкой моделью Whisper — около 0,9 секунды. Команда уходит в облачный сервис распознавания, который отвечает примерно за 0,6 секунды; локальная модель покрупнее справляется за 3,3 секунды, поэтому она остаётся только запасным вариантом. Причина в устройстве Whisper: он всегда кодирует окно в 30 секунд аудио, и короткая фраза не ускоряет работу.

Языковая модель

Ответ строит постоянно открытая сессия, а не новый процесс на каждую фразу. Я выбрал быструю модель класса Haiku и отключил загрузку лишних плагинов и памяти — первый текст появляется примерно через 1,6 секунды. Для команд вроде «громкость на 30» или «поставь таймер» модель вообще не нужна: их выполняет простой разбор без обращения к ИИ.

Синтез голоса

Самое заметное улучшение дал синтез. Локальная модель на процессоре без видеокарты выдавала первый звук примерно через 5 секунд. Облачный сервис с постоянным соединением и потоковым воспроизведением сократил время до звука с 2,49 до 0,49 секунды: аудио начинает играть, пока остальное ещё досинтезируется. Короткие реплики «Слушаю» и «Секунду» записаны заранее и воспроизводятся мгновенно, пока работает основная цепочка.

Что ещё важно

Озвучка не должна читать технические детали: пути к файлам, коды ошибок и ссылки перед синтезом вырезаются, а сбои объясняются человеческим языком. Если вам нужен голосовой или текстовый помощник под ваши процессы, начать можно с AI-ассистента для бизнеса.