日本語で話すと、相手には英語の音声が届く。相手が英語で答えると、自分には日本語で聞こえる。どちらかが不慣れな言語に合わせたり、一文ごとに文字をコピーして再生したりする必要はありません。
これがAIリアルタイム音声翻訳の体験です。相手の声を自分が理解できる言語の音声にし、自分の声も相手が理解できる言語の音声にします。会話に合わせて処理が続くため、翻訳ツールの操作ではなく、目の前の相手に集中できます。
翻訳鷗はマルチプロセス技術を採用しています。人間の通訳者が聞く・訳す・話すを並行して行うように、AIは先ほどの発言を翻訳・再生しながら、その後の音声も聞き続けて認識します。
音声翻訳は、声を文字にするだけではない
「音声翻訳」と呼ばれる機能でも、画面に字幕を出すだけのものは少なくありません。入力の手間は減っても、利用者は画面を見続けることになります。音声から音声への翻訳は、ある言語の発話を理解し、意味を別の言語へ移し、翻訳結果を音声で届けるところまでを一つの流れとして扱います。
対面会話では、この流れが双方向に動く必要があります。日本語で納期を説明すると英語で相手に再生され、相手が英語で質問すれば日本語の音声で戻ってくる、という往復です。
同時に、認識された原文と訳文も画面に残ります。音声で会話を進めながら、人名、数字、場所、専門用語は文字で確かめられます。
マルチプロセスで、聞く・訳す・話すを止めない
翻訳鷗は、会話全体を一つのモデルに渡し、最後の結果が返るまで待つ方式ではありません。複数の専門的な処理が役割を分担し、順番を保ちながら次の工程へ渡します。
ある発話の訳文を生成したり再生を待ったりしている間も、その後の音声は処理に入れます。各発話には原文、訳文、再生順が保たれるため、次の発言が始まったからといって前の内容が押し出されることはありません。
翻訳鷗のAI同時通訳なら、一文ごとに翻訳を開始し直す必要がありません。同じ話題について話し続けながら、二つの言語を認識・翻訳・音声再生できます。
文脈を理解するAIだから、逐語的な機械翻訳より自然
従来の機械翻訳は、一文ずつを独立したテキストとして扱いがちです。略称、代名詞、複数の意味を持つ語、省略された表現があると、単語としては合っていても会話の状況に合わない訳になることがあります。
たとえば、シンガポール拠点のリリース計画について話している途中で「そちらは金曜日に変更してください」と言われたとします。一文だけでは「そちら」が場所、担当チーム、計画のどれを指すのか判断しにくいでしょう。翻訳鷗は現在の発話をそれまでの会話に戻し、前後関係から指示内容を捉えます。
大規模言語モデルによる翻訳は、単語の対応だけでなく、文と文のつながりを考えます。人物、場所、製品名、目的を引き継ぐ会話ほど、文脈を保つ価値が大きくなります。
なぜ一つの音声モデルだけに任せないのか
一つのモデルに音声を入力し、別の言語の音声を直接受け取る方法は短く見えます。しかし、途中の状態が見えないため、一文が抜けたり人名を誤認したりしても、どこで問題が起きたのか確かめにくくなります。
マルチプロセスでは、重要な工程を分けたうえで、共通の文脈と順番で結びます。認識された原文、訳文、再生待ちの順番を確認でき、一つの工程に時間がかかっても他の処理まで一斉に止める必要がありません。
翻訳鷗が重視するのは次の三点です。
- 内容の完全性：認識済みの発話は個別の処理に入り、次の発言によって押し出されません。
- 翻訳品質：会話の文脈を大規模言語モデルが理解し、一文ずつ訳すことで生じる不自然さや誤訳を減らします。
- 安定した動作：マルチプロセス技術で音声から音声への翻訳を継続的に届け、ネットワーク変動の影響を受けにくくし、モデルのハルシネーションも抑えます。
利用者が感じる違いは、会話を中断しなくてよいこと
二人が商品の納品について確認している場面を考えてみましょう。
- 「サンプルは金曜日に3番ブースへ届け、先に李さんへ連絡してください」と日本語で話します。
- 相手には翻訳音声が届き、画面には日本語の原文と訳文が残ります。
- 相手が自分の言語で「承知しました。李さんの電話番号を送ってください」と答えます。
- 日本語の翻訳音声を聞き、同じ納品について会話を続けます。
スマートフォンを渡し合ったり、発言のたびに翻訳方向を選び直したりする必要はありません。システムが二つの言語を処理し、それぞれに必要な翻訳音声を届けます。
リアルタイム音声翻訳は実際の会話で試す
スマートフォンを双方の声が届く位置に置き、双方向同時通訳で二つの言語を選びます。「こんにちは」だけではなく、同じ話題について数文話し、人名、数字、追加の質問を一つずつ入れてみてください。
相手に正しい言語の音声が届くか、後の発言が前の文脈を引き継ぐか、原文・訳文・再生の順序が揃っているかを確認します。これなら、単語だけのテストより実際の利用に近い判断ができます。集音の問題を翻訳の問題と取り違えないよう、会話しやすい環境で試し、周囲が騒がしい場合は端末を話者に近づけて、同時に話さないようにしてください。
翻訳した文の数ではなく、会話の成果で選ぶ
異なる言語での会話が成功したかどうかは、問題を解決できたか、決定できたか、信頼関係を築けたかで決まります。高度なAIでも、何度も設定を直したり、抜けた内容を推測したりする必要があれば、まだ会話に溶け込んだとは言えません。
納品を確認する、海外の取引先と知り合う、旅程を相談する、現地で助けを求める。まずは一つの本当の目的を持って翻訳鷗を試してください。五分後に双方が要望を伝え、返答を得られたなら、AIはデモではなく、実用的なコミュニケーション手段になっています。