Jeder Voice-AI-Anbieter wirbt mit einer Latenzzahl. Vapi nennt ~500ms. Retell nennt ~800ms. Synthflow verweist auf einen Deepgram-Blog mit ~300ms STT. Der Haken: Keine dieser Zahlen beschreibt, was die anrufende Person am anderen Ende der Leitung tatsächlich hört.
Wir haben sechs Wochen lang ein offenes Testsystem gegen fünf produktive Voice-Plattformen laufen lassen — Retell, Vapi, Synthflow, Deepgram Voice Agent und Finn — über Routen in US-East, EU-West und Indien. Dieser Beitrag veröffentlicht die P50-/P90-/P99-Werte, eine Methodik, die Sie selbst nachstellen können, und jene Teile der Pipeline, die Anbieter in ihren Marketing-Grafiken stillschweigend weglassen.
Warum "Latenz" die falsche Zahl ist
Wenn ein Anbieter mit latency: 500ms wirbt, meint er fast immer den TTFB — die Zeit vom Ende der Nutzeräußerung bis zum ersten Audio-Byte, das die TTS ausgibt. Das ist eine nützliche technische Kennzahl. Es ist nicht das, was der Nutzer wahrnimmt.
Wahrgenommen wird die Sprecherwechsel-Verzögerung: die Stille zwischen dem Moment, in dem er aufhört zu sprechen, und dem Moment, in dem er den Agenten sprechen hört. Diese Zahl umfasst:
- Endpointing-Verzögerung — wie lange die VAD wartet, bevor sie entscheidet, dass Sie fertig sind (typischerweise 200–600ms bewusster Stille).
- Netzwerk-Jitter-Buffer auf der SIP-/WebRTC-Strecke (40–120ms).
- Von TTS-First-Byte zu abspielbarer TTS — der erste Chunk muss groß genug für eine jitterfeste Wiedergabe sein.
- Barge-in-Erholung, wenn der Nutzer mitten in der Antwort unterbricht.
Eine Plattform, die 500ms TTFB ausweist, aber 600ms Endpointing verwendet, erzeugt eine wahrgenommene Sprecherwechsel-Verzögerung jenseits von 1.2s. Ein anderer Anbieter, der mit 800ms wirbt, dabei aber aggressives semantisches Endpointing bei 150ms einsetzt, fühlt sich im Gespräch spürbar schneller an. Marketingzahlen und menschlich wahrgenommene Zahlen liegen nicht auf derselben Achse.
Faustregel aus der CX-Forschung: Unter 800ms wirkt der wahrgenommene Sprecherwechsel wie ein Gespräch. 800–1200ms fühlt sich nach "KI, aber erträglich" an. Über 1.2s beginnen Anrufer, dem Agenten ins Wort zu fallen.
Anatomie einer Voice-AI-Anfrage
Hier die vollständige Pipeline für einen einzelnen Gesprächszug, mit dem Median-Budget, das wir 2026 über die fünf Plattformen hinweg gemessen haben:
| Stufe | Was passiert | Median (ms) | P90 (ms) |
|---|---|---|---|
| SIP-/WebRTC-Ingress | Audioframe erreicht den Media-Server | 20 | 60 |
| VAD + Endpointing | Ende der Nutzeräußerung erkennen | 280 | 520 |
| STT-Finalisierung | Teiltranskript erzwungen abschließen | 90 | 180 |
| LLM TTFT | Erstes Token des Modells | 320 | 780 |
| Übergabe LLM → TTS | Satzgrenze + Streamstart | 40 | 120 |
| TTS-First-Byte | Erster Audio-Chunk wird ausgegeben | 180 | 410 |
| TTS → abspielbar | Genug Buffer für sicheren Start | 60 | 140 |
| Egress-Jitter-Buffer | Glättung auf Carrier-Seite | 50 | 110 |
| Wahrgenommen gesamt | Ende der Äußerung → erstes gehörtes Audio | ~1040 | ~2320 |
Die beiden Stufen, um die Anbieter am härtesten konkurrieren — LLM TTFT und TTS-First-Byte — machen nur ~48 % des Median-Budgets aus. Endpointing und aufsummierter Jitter beherrschen den Tail.
Die Benchmark-Tabelle 2026 — gemessen, nicht beworben
Alle Zahlen unten sind wahrgenommene Sprecherwechsel-Verzögerung, Anrufer in US-East → Standardregion des Anbieters, aufgezeichnet über 500 Gesprächszüge pro Plattform anhand eines festen 8-Zug-Skripts zur Terminvereinbarung. Hardware: Mac mini M4, per PSTN-Bridge über eine Twilio-Programmable-Voice-Nummer, Aufnahmen ausgewertet mit unserem offenen Skript (Link im Repo unten). Vollständige Methodik im nächsten Abschnitt.
| Plattform | Beworben | P50 gemessen | P90 gemessen | P99 gemessen | Barge-in-Erholung |
|---|---|---|---|---|---|
| Retell | ~800ms | 1180 | 1740 | 2680 | 410ms |
| Vapi (Standard) | ~500ms | 1020 | 1620 | 2510 | 380ms |
| Vapi (eigene STT/LLM) | — | 880 | 1410 | 2240 | 360ms |
| Synthflow | ~600ms | 1240 | 1980 | 3120 | 520ms |
| Deepgram Voice Agent | ~300ms STT | 940 | 1480 | 2390 | 290ms |
| Finn | — | 820 | 1290 | 1980 | 240ms |
Erkenntnisse, die die meisten Anbieter-Benchmarks verstecken:
- Der P90 jeder Plattform liegt etwa bei 1.5–2× ihres P50. Wer nur auf Durchschnitte schaut, erlebt bei den schlechtesten 10 % der Anrufe faktisch ein anderes Produkt.
- Der P99 überschreitet immer 2 Sekunden. Tail-Latenz ist der Punkt, an dem Nutzer auflegen.
- Die Barge-in-Erholung — wie schnell der Agent verstummt, wenn man ihn unterbricht — schwankt um den Faktor 2. Diese eine Zahl verursacht mehr Beschwerden über "schlechte Anrufe" als der TTFB.
So reproduzieren Sie diese Zahlen
Das Testsystem ist bewusst unspektakulär. Kein proprietärer Lastgenerator, kein synthetisches SIP — eine echte Telefonnummer, die einen echten Agenten anruft, mit einem Zeitstempel-Aufbau über Mikrofon-Loopback.
Häufig gestellte Fragen
Was bedeutet sub-second Latenz eigentlich?
Das hängt davon ab, was gemessen wird. Modell-Inferenzzeit, Zeit bis zum ersten Audio und Mund-zu-Ohr-Latenz sind drei verschiedene Zahlen — und nur die letzte erlebt der Anrufer.
An welcher Latenzzahl sollte ich einen Anbieter messen?
An Mund-zu-Ohr bei einem echten Anruf über einen echten Carrier, gemessen im Tail statt im Mittelwert. Ein guter Durchschnitt mit schlechtem p95 heißt: Jeder zwanzigste Anruf ist unbrauchbar.
Warum ist die Latenz in der Produktion schlechter als im Test?
Meist liegt es am Netzwerkpfad. Eine Demo über eine lokale Verbindung überspringt die Carrier-Strecke und den Regionssprung, den Anrufe in der Produktion bezahlen.
Passend dazu: Voice.ai vs. Voice AI: Was Sie wirklich brauchen
