Latenz-Rechner für Voice AI

So wird gerechnet

Die wahrgenommene Lücke ist die Summe aller Stufen zwischen Sprechende und erstem Audio: die Stille, die Sie abwarten, bevor Sie entscheiden, dass der Anrufer fertig ist, die Finalisierung der Transkription, das erste Token des Modells, das erste Byte der Stimme, zwei Netzwerk-Hops und der Telefonieweg.

perceived gap = endpointing silence      ← your setting
              + STT finalisation
              + LLM time to first token
              + TTS time to first byte
              + network RTT × 2           ← your region choice
              + telephony / jitter buffer

Warum es meist nicht am Modell liegt

In einem typischen Setup ist die Endpointing-Stilleschwelle der größte Einzelposten – rund 600ms von einem Budget von etwa 1.500ms, also 40% dessen, was der Anrufer abwartet. Das ist keine Grenze des Anbieters. Es ist ein Wert in Ihrer Konfiguration, der festlegt, wie lange das System der Stille zuhört, bevor es schließt, dass der Anrufer fertig ist – und Teams verbringen regelmäßig Wochen mit Modell-Benchmarks, während dort ein Standardwert steht, den niemand gewählt hat.

Ihn zu verkürzen ist der billigste verfügbare Gewinn, und es ist ein echter Zielkonflikt statt eines Geschenks: Kürzen Sie zu weit, unterbrechen Sie jeden, der mitten im Satz Luft holt. Die Regionswahl ist der zweite Hebel in Ihrer Hand – der Netzwerk-Roundtrip zählt doppelt, sodass ein regionsübergreifendes Deployment 400ms hinzufügen kann, bevor irgendein Anbieter etwas falsch gemacht hat.

Wie gut aussieht

Natürliche Pausen beim menschlichen Sprecherwechsel liegen bei etwa 200ms. Unter 500ms wirkt ein Agent unmittelbar; unter 800ms liest es sich wie eine normale Pause. Ab etwa 1,2 Sekunden fangen Anrufer an, sich zu wiederholen oder dem Agenten ins Wort zu fallen, weil die Stille wie eine abgerissene Leitung wirkt und nicht wie Nachdenken. Ein Reasoning-Modell mit 1,4 Sekunden bis zum ersten Token verbraucht das gesamte Budget allein – weshalb solche Modelle nach dem Gespräch gehören, zum Zusammenfassen und Entscheiden, und nicht in den laufenden Turn.

Die Werte je Stufe sind typische veröffentlichte oder beobachtete Bereiche, keine Zusagen. Die reale Latenz schwankt mit Region, Last, Payload und Netzbedingungen – messen Sie Ihre eigene und nutzen Sie dies als Budget, gegen das Sie entwerfen.

Last reviewed July 2026.

Häufige Fragen

Was ist eine gute Latenz für einen Voice-AI-Agenten?

Unter 800 ms wirkt angenehm, unter 500 ms wirkt unmittelbar — natürliche menschliche Sprecherwechsel liegen bei etwa 200 ms. Ab rund 1,2 Sekunden fangen Anrufer an, sich zu wiederholen oder dem Agenten ins Wort zu fallen, weil die Stille wie eine abgebrochene Leitung wirkt und nicht wie Nachdenken.

Warum ist mein Voice-Agent langsam, obwohl jeder Anbieter niedrige Latenz verspricht?

Weil die Anbieterzahlen nur einen Teil des Budgets abdecken. In einem typischen Setup ist die Endpointing-Stilleschwelle — die Zeit, die Sie warten, um sicher zu sein, dass der Anrufer aufgehört hat zu sprechen — der größte Einzelposten, oft 40% der Gesamtzeit. Sie ist eine Einstellung auf Ihrer Seite, kein Limit des Anbieters, und kein noch so gründlicher Modellvergleich behebt das.

Wie reduziere ich die Latenz eines Voice-Agenten?

Nach Wirkung geordnet: die Endpointing-Schwelle verkürzen, in derselben Region wie Ihre Provider deployen, den System-Prompt kürzen, Text an Text-to-Speech streamen statt auf eine vollständige Antwort zu warten, und erst dann ein schnelleres Modell erwägen. Die ersten beiden sind kostenlos und bringen meist mehr als der ganze Rest zusammen.

Was ist Endpointing?

Die Entscheidung, wann der Anrufer zu Ende gesprochen hat. Warten Sie zu lange, wirkt jede Antwort träge; brechen Sie zu früh ab, unterbrechen Sie jeden, der mitten im Satz eine Pause macht. Das ist ein echter Zielkonflikt und kein Bug — aber ein Zielkonflikt, den die meisten Teams nie bewusst eingehen: Sie lassen einen Default stehen und geben dem Modell die Schuld.

Ergibt ein Reasoning-Modell für Voice Sinn?

Auf dem kritischen Pfad selten. Ein Modell, das 1,4 Sekunden bis zum ersten Token braucht, sprengt das gesamte Budget im Alleingang. Reasoning-Modelle passen besser nach dem Gespräch — zusammenfassen, extrahieren, nächste Schritte festlegen — während der laufende Sprecherwechsel auf etwas läuft, das für Time to First Token gebaut ist.

Weiterführende Beiträge