Перевод речи с ИИ: продолжайте говорить на своём языке

Вы говорите по-английски, а собеседник слышит японский. Он отвечает по-японски, а вы слышите английский. Никому не нужно менять язык, копировать текст между приложениями или нажимать воспроизведение после каждой фразы.

В этом смысл голосового перевода с ИИ: превратить голос другого человека в понятную вам речь, а ваш голос — в понятную ему. Процесс продолжается вместе с беседой, чтобы оба могли сосредоточиться друг на друге, а не на управлении переводчиком.

TransGull использует для этого несколько процессов. Подобно переводчику, который одновременно слушает, переводит и говорит, ИИ продолжает слушать происходящее, пока предыдущая речь переводится и озвучивается.

Голосовой перевод — больше, чем субтитры

Многие голосовые переводчики ограничиваются текстом на экране. Печатать уже не нужно, но приходится смотреть вниз и читать. Полноценный голосовой перевод завершает цикл: понять речь на одном языке, перевести смысл и произнести результат на другом.

Цикл должен работать в обоих направлениях. Вы можете объяснить срок доставки по-английски, а TransGull озвучит японский перевод. Затем собеседник задаст вопрос по-японски, и вы услышите его по-английски.

Исходный и переведённый текст тоже остаются видны. Озвучивание поддерживает ход разговора, а текст помогает проверять имена, числа, места и специальные термины.

Несколько процессов ИИ продолжают слушать, переводить и говорить

TransGull не отправляет целый разговор в одну модель в ожидании единственного окончательного ответа. Специализированные процессы выполняют свои задачи и последовательно передают результат дальше.

Пока один сегмент переводится или ожидает озвучивания, следующая речь уже поступает в обработку. Для каждого сегмента сохраняются исходный текст, перевод и порядок воспроизведения, поэтому следующая фраза не вытесняет предыдущую.

С синхронным ИИ-переводом TransGull не нужно перезапускать перевод после каждого предложения. Собеседники продолжают обсуждать тему, а система слушает, переводит и говорит на обоих языках.

ИИ с учётом контекста звучит естественнее перевода отдельных фраз

Традиционный машинный перевод часто рассматривает каждое предложение изолированно. Сокращения, местоимения, неоднозначные слова и опущенные детали могут дать формально правдоподобный, но неверный для разговора перевод.

Допустим, вы обсуждаете план открытия офиса в Сингапуре. Кто-то говорит: «Перенесите это на пятницу». При переводе отдельных фраз системе может быть непонятно, что означает «это»: офис, команда или открытие. TransGull рассматривает новую фразу в контексте текущего разговора и определяет, к чему относится указание.

В этом важное отличие перевода большой моделью с учётом контекста от обычной замены фраз: учитывается связь соседних предложений. Чем дольше разговор опирается на общие сведения о людях, местах, продуктах и целях, тем полезнее эта непрерывность.

Почему не поручить всё одной речевой модели?

Передать звук прямо одной модели и получить переведённый звук кажется проще, но промежуточные шаги трудно проверить. Если фраза пропущена или имя распознано неверно, слушатель слышит лишь конечный результат и почти не видит, где возникла проблема.

Несколько процессов разделяют основные задачи, связывая их общим контекстом и порядком. Можно проверить распознанный оригинал, посмотреть перевод и убедиться, что озвучивание следует исходной последовательности. Перевод и генерация речи могут продолжаться, не останавливая остальные части разговора.

TransGull ориентируется на три результата:

• Полнота содержания: принятая речь поступает в собственный процесс обработки и не вытесняется следующей фразой.
• Качество перевода: большая модель использует контекст беседы, уменьшая неестественные формулировки и ошибки изолированного перевода.
• Стабильность работы: несколько процессов продолжают выдавать голосовой перевод при колебаниях сети и снижают влияние галлюцинаций модели.

Главное — разговор без постоянных остановок

Представьте, что два человека согласовывают доставку продукта:

1. Вы говорите: «Доставьте образцы к стенду 3 в пятницу и сначала свяжитесь с госпожой Ли».
2. Собеседник слышит перевод, а оригинал и переведённый текст остаются на экране.
3. Он отвечает на своём языке: «Хорошо. Пришлите, пожалуйста, телефон госпожи Ли».
4. Вы слышите английский перевод и продолжаете обсуждать ту же доставку.

Не нужно передавать телефон друг другу или выбирать направление перевода для каждой фразы. Система обрабатывает оба языка и передаёт каждому слушателю нужный озвученный перевод.

Проверяйте голосовой перевод в реальном разговоре

Поставьте телефон так, чтобы он слышал обоих, откройте двусторонний перевод и выберите языки. Вместо одних «привет» и «спасибо» обсудите тему несколькими предложениями, включив имя, число и уточняющий вопрос.

Проверьте, слышит ли каждый правильный целевой язык, учитывают ли последующие фразы прежний контекст и сохраняется ли порядок оригинала, перевода и озвучивания. Это показательнее нескольких несвязанных фраз. Чтобы не спутать проблему записи звука с ошибкой перевода, тестируйте в подходящих для беседы условиях; в шумном помещении приблизьте устройство к говорящим и старайтесь не перебивать друг друга.

Оценивайте голосовой перевод по результату общения

Многоязычный разговор успешен, когда люди решают проблему, принимают решение или укрепляют доверие, а не когда приложение просто выдаёт больше переведённых предложений. Даже передовая модель не стала частью беседы, если людям постоянно приходится останавливаться для настройки или гадать, что было пропущено.

Попробуйте TransGull с реальной целью: согласовать доставку, встретиться с зарубежным клиентом, обсудить маршрут на день или попросить местного жителя о помощи. Если через пять минут оба смогли объяснить свои потребности и получить полезный ответ, ИИ превратился из демонстрации в практический инструмент общения.