VoIP-Latenz ist die Verzögerung zwischen dem Sprechen und dem Hören auf der Gegenseite. Die ITU-T-Empfehlung G.114 setzt die Obergrenze für ein normales Gespräch bei 150 Millisekunden in eine Richtung an — jenseits davon fangen Menschen an, sich gegenseitig ins Wort zu fallen.
Für einen KI-Voice-Agent ist das Budget noch enger, denn der Agent muss innerhalb davon denken.
Wohin die Millisekunden gehen
Bei einem Gespräch zwischen Menschen ist Latenz reiner Transport: Paketierung, Netzlaufzeit, Jitter-Buffer, Wiedergabe. Ein sauber betriebener VoIP-Pfad bleibt bequem innerhalb von G.114.
Ein Voice-Agent schiebt zwischen den Transport beider Gesprächsseiten einen Verarbeitungs-Stack:
- Erfassen und Kodieren des Audios des Anrufers
- Spracherkennung, die erst abschließen kann, wenn der Anrufer aufhört zu sprechen
- Endpointing — die Entscheidung, dass er tatsächlich aufgehört hat, was eine Schätzung ist und Zeit kostet
- Das Modell, das eine Antwort generiert
- Sprachsynthese, die Audio erzeugt
- Rücktransport zum Anrufer
Jeder Schritt ist klein. Die Summe ist es nicht. Und die Teile addieren sich nicht so, wie es ein Architekturdiagramm nahelegt, denn einer davon dominiert auf eine Weise, die leicht zu übersehen ist.
Time to First Audio ist die entscheidende Zahl
Die gesamte Verarbeitungszeit ist die falsche Kennzahl. Was der Anrufer erlebt, ist die Lücke, bevor er überhaupt etwas hört.
Ein Agent, der 900ms für eine vollständige Antwort braucht, aber nach 300ms zu sprechen beginnt, wirkt reaktionsschnell. Einer, der insgesamt 600ms braucht, aber bis 600ms nichts sagt, wirkt langsam. Streaming verändert die wahrgenommene Latenz weit stärker als rohe Geschwindigkeit — deshalb enttäuscht die Jagd nach einem schnelleren Modell oft, während das Zerlegen der Antwort in Chunks sofort hilft.
Deshalb liegt auch das Endpointing auf dem kritischen Pfad. Jede Millisekunde, die in die Entscheidung fließt, dass der Anrufer fertig ist, ist eine Millisekunde, bevor irgendetwas anderes starten kann. Aggressives Endpointing senkt die Latenz und fällt Menschen ins Wort; konservatives Endpointing ist höflich und langsam.
Das Budget in der Praxis
Rückwärts gerechnet von einem gesprächsartigen Gefühl:
- Unter ~800ms wirkt Mund-zu-Ohr natürlich
- 800ms–1,2s ist spürbar, aber erträglich
- Jenseits von ~1,2s reden Anrufer über den Agent hinweg, und jede Kollision kostet eine Klärungsrunde
Dagegen kann allein der Transport bei einem Inlandsgespräch 80–150ms Round Trip beanspruchen. International kommt mehr dazu, und das ist nicht optional — die Physik setzt eine Untergrenze. Eine Pipeline, die Audio in eine entfernte Region leitet, verbraucht einen großen Teil des Budgets, bevor die Verarbeitung überhaupt beginnt. Das ist der übliche Grund, warum sich eine Demo, die im Test sofort reagierte, in der Produktion träge anfühlt.
Der Voice-Latency-Rechner addiert die Stufen auf, damit Sie sehen, welche Ihr Budget tatsächlich verbraucht — statt anzunehmen, es sei das Modell.
Ehrlich messen
Messen Sie Mund-zu-Ohr bei einem echten Anruf über einen echten Carrier. Die isolierte Inferenzzeit des Modells ist keine Latenz; sie ist ein Summand, und meist nicht der größte.
Messen Sie den Tail, nicht den Mittelwert. Eine Pipeline mit durchschnittlich 700ms und einem p95 von 2 Sekunden ist keine 700ms-Pipeline — jeder zwanzigste Anruf ist unbrauchbar, und genau an diese Anrufe erinnern sich die Leute.
Siehe auch Voice Latency für die einzelnen Begriffe.
Häufig gestellte Fragen
Was ist eine akzeptable Latenz für VoIP? ITU-T G.114 empfiehlt, die Verzögerung in eine Richtung für ein normales Gespräch unter 150ms zu halten. Voice-Agents brauchen ein engeres Budget, weil die Verarbeitung in dasselbe Zeitfenster fällt.
Warum wirkt mein Voice-Agent langsam, obwohl das Modell schnell ist? Meist liegt es am Endpointing und an der Time to First Audio, nicht an der Inferenz. Wartet der Agent, bis er die Generierung abgeschlossen hat, bevor er spricht, hört der Anrufer die gesamte Pipeline statt des Satzanfangs.
Ist Jitter genauso wichtig wie Latenz? Er wirkt anders. Jitter wird von einem Buffer abgefangen, und dieser Buffer fügt selbst Verzögerung hinzu — weniger Jitter kann die Latenz also indirekt senken.
Reichen 500ms aus? Für Mund-zu-Ohr in der Regel ja. Unter etwa 800ms wirkt es gesprächsartig; Probleme beginnen jenseits von rund 1,2 Sekunden.
