VoIPレイテンシとは、誰かが話してから相手にその声が届くまでの遅延です。ITU-T勧告G.114は、通常の会話における上限を片方向150ミリ秒としています。おおよそこれを超えると、話し手同士が互いの発話にかぶせ始めます。
音声AIエージェントの場合、予算はさらに厳しくなります。エージェントはその内側で思考しなければならないからです。
ミリ秒はどこへ消えるのか
人間同士の通話では、レイテンシはすべて伝送です。パケット化、ネットワーク伝送、ジッターバッファ、再生。適切に運用されたVoIP経路なら、G.114の範囲に余裕をもって収まります。
音声エージェントは、両者の伝送の間に処理スタックを挟み込みます。
- 発信者の音声の取り込みとエンコード
- 音声認識。発信者が話し終えるまで完了できない
- エンドポインティング — 本当に話し終えたと判断する処理。これは推測であり、コストでもある
- 応答を生成するモデル
- 音声を生成する音声合成
- 発信者への戻りの伝送
一つひとつの工程は小さい。しかし合計は小さくありません。しかも各要素は、アーキテクチャ図が示唆するようには積み上がりません。そのうちの一つが、見落としやすい形で支配的になるからです。
見るべき数値は最初の音声までの時間
処理時間の合計は、指標として適切ではありません。発信者が体感するのは、何かが聞こえるまでの空白です。
完全な応答の生成に900msかかっても300msで話し始めるエージェントは、反応が速く感じられます。合計600msでも600msまで何も発話しないエージェントは、遅く感じられます。体感レイテンシは、素の処理速度よりもストリーミングによってはるかに大きく変わります。だからこそ、より速いモデルを追い求めても期待外れに終わることが多く、応答をチャンクに分割すればすぐに効果が出るのです。
エンドポインティングがクリティカルパス上にあるのも同じ理由です。発信者が話し終えたと判断するために費やす1ミリ秒は、他のすべての処理を1ミリ秒遅らせます。積極的なエンドポインティングはレイテンシを削る一方で相手の発話を遮り、慎重なエンドポインティングは礼儀正しいが遅い。
実運用における予算配分
会話らしい体感から逆算すると、次のようになります。
- 約800ms未満なら、口から耳までが自然に感じられる
- 800ms〜1.2秒は気づかれるが許容範囲
- 約1.2秒超になると発信者がエージェントにかぶせて話し始め、衝突のたびに立て直しのターンが必要になる
これに対し、国内通話では伝送だけで往復80〜150msかかることがあります。国際通話ではさらに増え、しかもこれは避けられません。物理法則が下限を決めているからです。音声を遠隔リージョンへ回すパイプラインは、処理が始まる前に予算の大半を使い切ります。テストでは即座に感じられたデモが本番では鈍く感じられる、典型的な原因はこれです。
音声レイテンシ計算ツールは各段階を合算し、モデルが原因だと決めつける前に、実際に予算を使っているのがどの段階なのかを可視化します。
正直に計測する
実際のキャリア回線を通した実際の通話で、口から耳までを計測してください。モデル単体の推論時間はレイテンシではありません。合計を構成する一項にすぎず、多くの場合は最大の項でもありません。
平均ではなく、テールを計測してください。平均700ms、p95が2秒のパイプラインは700msのパイプラインではありません。20回に1回の通話が使い物にならず、人々の記憶に残るのはまさにその通話です。
個々の用語については音声レイテンシも参照してください。
よくある質問
VoIPで許容されるレイテンシはどれくらいですか? ITU-T G.114は、通常の会話では片方向遅延を150ms未満に保つことを推奨しています。音声エージェントでは処理が同じ枠内に収まる必要があるため、予算はさらに厳しくなります。
モデルは速いのに音声エージェントが遅く感じるのはなぜですか? 多くの場合、原因は推論ではなくエンドポインティングと最初の音声までの時間です。生成が終わるまで待ってから話すエージェントでは、発信者は文の出だしではなくパイプライン全体を待たされることになります。
ジッターはレイテンシと同じくらい重要ですか? 効き方が異なります。ジッターはバッファで吸収されますが、そのバッファ自体が遅延を追加します。つまりジッターを減らせば、間接的にレイテンシを下げられます。
500msあれば十分ですか? 口から耳までであれば、たいていは十分です。おおよそ800ms未満なら会話らしく感じられ、問題が出始めるのは約1.2秒を超えたあたりからです。
