VoIP-latency is de vertraging tussen het moment waarop iemand spreekt en het moment waarop de ander het hoort. ITU-T-aanbeveling G.114 legt het plafond voor een normaal gesprek op 150 milliseconden in één richting — daarboven gaan mensen ongeveer door elkaar heen praten.
Voor een voice-AI-agent is het budget nog krapper, want de agent moet er binnen nadenken.
Waar de milliseconden blijven
Bij een gesprek tussen mensen is latency transport: paketisering, netwerktransit, jitterbuffer, weergave. Een goed ingericht VoIP-pad blijft ruim binnen G.114.
Een voice-agent zet een verwerkingsstack tussen het transport van beide mensen in:
- Opnemen en encoderen van de audio van de beller
- Spraakherkenning, die pas klaar kan zijn als de beller stopt met praten
- Endpointing — bepalen dat hij écht is gestopt, wat een gok is en tijd kost
- Het model dat een antwoord genereert
- Spraaksynthese die audio produceert
- Transport terug naar de beller
Elke stap is klein. De som niet. En de onderdelen tellen niet op zoals een architectuurdiagram suggereert, want één ervan domineert op een manier die makkelijk over het hoofd te zien is.
Time to first audio is het getal dat telt
De totale verwerkingstijd is de verkeerde metriek. Wat de beller ervaart is de stilte voordat hij iets hoort.
Een agent die 900ms nodig heeft voor een volledig antwoord maar na 300ms begint te praten, voelt responsief. Een agent die in totaal 600ms doet maar tot 600ms niets zegt, voelt traag. Streaming verandert de ervaren latency veel meer dan pure snelheid, en daarom valt jagen op een sneller model vaak tegen terwijl het antwoord in chunks knippen meteen helpt.
Daarom ligt endpointing ook op het kritieke pad. Elke milliseconde die je besteedt aan de beslissing dat de beller klaar is, is een milliseconde voordat er iets anders kan beginnen. Agressieve endpointing verlaagt de latency en onderbreekt mensen; behoudende endpointing is beleefd en traag.
Het budget in de praktijk
Terugredenerend vanaf wat als een gesprek aanvoelt:
- Onder ~800ms voelt mond-tot-oor natuurlijk
- 800ms–1,2s is merkbaar maar te doen
- Boven ~1,2s gaan bellers door de agent heen praten, en elke botsing kost een herstelbeurt
Daar staat tegenover dat alleen het transport bij een binnenlands gesprek al 80–150ms heen en terug kan kosten. Internationaal komt daar meer bij, en dat is niet optioneel — de natuurkunde legt een ondergrens op. Een pipeline die audio naar een verre regio routeert, verbruikt een groot deel van het budget nog voordat de verwerking begint. Dat is de gebruikelijke reden waarom een demo die in de test direct aanvoelde, in productie traag lijkt.
De voice-latency-calculator telt de fasen bij elkaar op, zodat je ziet welke je budget daadwerkelijk opsoupeert in plaats van aan te nemen dat het het model is.
Eerlijk meten
Meet mond-tot-oor tijdens een echt gesprek via een echte carrier. De inferentietijd van het model op zichzelf is geen latency; het is één term in de som, en meestal niet de grootste.
Meet de staart, niet het gemiddelde. Een pipeline met een gemiddelde van 700ms en een p95 van 2 seconden is geen 700ms-pipeline — één op de twintig gesprekken is onbruikbaar, en dat zijn precies de gesprekken die mensen zich herinneren.
Zie ook voice latency voor de afzonderlijke begrippen.
Veelgestelde vragen
Wat is een acceptabele latency voor VoIP? ITU-T G.114 adviseert de vertraging in één richting onder 150ms te houden voor een normaal gesprek. Voice-agents hebben een krapper budget nodig omdat de verwerking binnen datzelfde venster valt.
Waarom voelt mijn voice-agent traag terwijl het model snel is? Meestal ligt het aan endpointing en time to first audio, niet aan de inferentie. Als de agent wacht tot hij klaar is met genereren voordat hij spreekt, hoort de beller de hele pipeline in plaats van het begin van een zin.
Is jitter net zo belangrijk als latency? Het werkt anders. Jitter wordt opgevangen door een buffer, en die buffer voegt zelf vertraging toe — minder jitter kan de latency dus indirect verlagen.
Is 500ms goed genoeg? Voor mond-tot-oor meestal wel. Onder ongeveer 800ms voelt het als een gesprek; de problemen beginnen na ruwweg 1,2 seconde.
