Jeder Beitrag zum Thema „Whisper vs. Deepgram", den Sie lesen werden, stammt von jemandem, der eines der beiden verkauft. Deepgrams eigener Vergleich beginnt mit „über 90 % Genauigkeit in 300 ms". Stimmt – und geht am Thema vorbei. Wenn Sie Spracherkennung in einen Echtzeit-Voice-Agent einbauen, der Telefonanrufe entgegennimmt, ist die Genauigkeit auf einem sauberen Podcast-Clip nicht die Zahl, die darüber entscheidet, ob Ihr Agent menschlich oder kaputt wirkt.
Bei Finn bauen wir Voice-Agents für Contact Center. Wir haben beide Engines in den Produktivbetrieb gebracht. Hier ist die anbieterneutrale Fassung – die, die auf 8-kHz-Telefonieaudio, einem echten Latenzbudget und der Betriebsrechnung basiert, die niemand einpreist.
Die eigentliche Entscheidung: Streaming-STT ist ein Latenzbudget, keine Genauigkeitsrangliste
Ein Voice-Agent hat eine harte Randbedingung: Der Mensch am Telefon erwartet eine Antwort etwa im selben Takt, den auch ein Mensch liefern würde – sagen wir 800 ms bis 1,2 s ab dem Moment, in dem er aufhört zu sprechen. Dieser gesamte Roundtrip muss die STT-Finalisierung, die LLM-Inferenz, das erste TTS-Byte und den Netzwerk-/SIP-Transport abdecken. STT bekommt nicht das ganze Budget. Es bekommt vielleicht 300 ms davon.
Die Frage lautet also nicht „welche Engine hat die niedrigere Wortfehlerrate". Sie lautet „welche Engine liefert mir brauchbare Transkripte schnell genug, dass die anderen drei Stufen noch hineinpassen". Ein Modell, das 2 % genauer ist, aber 400 ms Finalisierungslatenz hinzufügt, ist die schlechtere Voice-Agent-Engine, Punkt. Batch-Genauigkeitsbenchmarks messen für diese Aufgabe die falsche Achse.
Benchmark-Aufbau: Audio in Telefonqualität, WER und warum Werte aus sauberem Audio lügen
Die meisten veröffentlichten WER-Zahlen stammen aus LibriSpeech oder Ähnlichem – vorgelesene Sprache, 16 kHz, studiosauber. Telefonanrufe sind das Gegenteil: 8-kHz-Schmalband (oder G.711 μ-law), Codec-Artefakte, Hintergrundgeräusche, Übersprechen, Akzente und Anrufer, die ihre Kontonummer nuscheln.
Wenn Sie dieselben Modelle erneut auf Telefonieaudio laufen lassen, verschiebt sich der Abstand:
- Whisper large-v3 auf sauberen 16 kHz: ~5-8 % WER. Auf verrauschter 8-kHz-Telefonie: oft 12-18 % WER, und es halluziniert flüssigen, aber falschen Text bei Stille und Rauschen – ein bekannter Fehlermodus, der gefährlich wird, wenn das Transkript in ein LLM fließt.
- Deepgram Nova-2/Nova-3, auf Telefonieaudio und Streaming abgestimmt: 8-13 % WER auf demselben Telefonie-Datensatz, und die Verschlechterung verläuft gnädiger – es lässt eher Wörter weg, als welche zu erfinden.
Die Lehre: Benchmarken Sie auf Ihrem eigenen Audio. Nehmen Sie 200 echte aufgezeichnete Anrufe, labeln Sie sie von Hand und bewerten Sie beide Engines darauf. Das Ranking, das dabei herauskommt, wird zu keinem Anbieterblog passen, auch nicht zu diesem. Wenn Sie eine Sache mitnehmen, dann diese.
Latenz und Endpointing: erstes Token, Finalisierung und Barge-in
Drei Latenzzahlen zählen, und nur eine taucht im Marketing auf.
Latenz bis zum ersten Token – wie schnell partielle Transkripte zurückzuströmen beginnen. Deepgram streamt Zwischenergebnisse in ~100-200 ms. Whisper ist ein Batch-Modell; die Streaming-Wrapper aus der Community (whisper-streaming, WhisperLive) zerteilen das Audio und dekodieren neu, was bedeutet, dass Teilergebnisse erst nach 500 ms bis über 1 s eintreffen und unter Last schwanken.
Finalisierungslatenz – wie lange es dauert, nachdem der Anrufer aufgehört hat zu sprechen, bis Sie ein stabiles Endtranskript haben, das Sie an das LLM übergeben können. Das steuert das Endpointing (die Sprachaktivitätserkennung, die entscheidet, dass der Sprecherwechsel ansteht). Deepgram liefert einstellbares Endpointing mit (endpointing=300). Bei Whisper schrauben Sie Ihr eigenes VAD (Silero, WebRTC VAD) daran und stimmen es selbst ab – mehr Kontrolle, mehr Strick.
Barge-in – wenn der Anrufer den Agent mitten im Satz unterbricht, müssen Sie Sprache erkennen und TTS in ~100-200 ms abbrechen, sonst redet der Agent über ihn hinweg. Das ist ein Problem aus Streaming-Teilergebnissen plus VAD. Engines mit nativem Streaming machen es leicht; Batch-Whisper macht daraus ein Projekt.
Das Abstimmen des Endpointings ist der wirkungsvollste Latenzregler im gesamten Stack – zu aggressiv eingestellt, und Sie schneiden Anrufer mitten im Wort ab; zu locker, und Sie fügen jeder Gesprächsrunde 500 ms Funkstille hinzu. In unserer Analyse von Sprach-Engines mit niedriger Latenz sehen Sie, wo das in der Pipeline sitzt.
Selbst gehostetes Whisper: GPU-Kosten, Batching und die Betriebslast, die niemand einpreist
„Whisper ist kostenlos" ist der teuerste Satz in der Voice-KI. Die Modellgewichte sind kostenlos. Sie in Echtzeit bei Callcenter-Parallelität zu betreiben, ist es nicht.
Echte Zahlen für ein selbst gehostetes faster-whisper-Deployment (CTranslate2) mit large-v3:
- GPU: Eine A10G oder L4 schafft mit large-v3 rund 8-15 parallele Echtzeit-Streams, bevor die Latenz einbricht. Bei 100 parallelen Anrufen brauchen Sie ~8-12 GPUs. Eine On-Demand-Cloud-A10G kostet ~$1.00-1.30/hr; reserviert liegt es darunter. Rechnen Sie mit $7,000-10,000/month an GPU, um 100 parallele Streams zu halten – vor Redundanz.
- Batching-Kompromiss: Batching hebt den Durchsatz pro GPU, erhöht aber die Latenz – genau das, was Sie schützen wollen. Echtzeitsprache deckelt, wie viel Sie batchen können, also bleibt Ihre GPU-Auslastung niedrig (oft 30-50 %), und das ist verbranntes Geld.
- Betriebslast: Modellladen, Warm-Pools gegen Kaltstarts, Autoscaling bei stoßweisem Inbound-Verkehr, VAD-Abstimmung, Halluzinationsfilterung, GPU-Treiber-/CUDA-Wartung und 24/7-Rufbereitschaft, wenn sich ein Knoten mitten im Anruf verklemmt. Das sind 0,5-1 VZÄ Plattform-Engineering, die in keinem Minutenpreisvergleich auftauchen.
Umgelegt landet selbst gehostetes Whisper bei 100 parallelen Anrufen häufig bei $0.006-0.012/min all-in – auf dem Papier konkurrenzfähig, aber erst, wenn Sie das Engineering bezahlt haben, das es zuverlässig macht. Unterhalb ernsthafter Volumina lohnt es sich fast nie. Unsere hybride ASR-Pipeline unter 120 ms behandelt die Rechnung Batching gegen Latenz im Detail.
Deepgram / verwaltete APIs: Kosten pro Minute bei Skalierung und regionales Routing
Verwaltetes STT dreht den Kompromiss um: höhere Grenzkosten, nahezu kein Betriebsaufwand.
- Deepgram Nova Streaming ist mit rund $0.0077/min gelistet (Nova, Pay-as-you-go, Streaming), wobei Mengen- und Commitment-Rabatte den Preis bei Skalierung drücken.
- Keine GPUs, keine Warm-Pools, kein CUDA. Autoscaling, Endpointing und Streaming bekommen Sie ohne Aufwand.
- Regionales Routing zählt mehr als der Listenpreis. Wenn Ihr Medienstrom in Mumbai terminiert und Ihr STT-Endpunkt in us-east liegt, haben Sie jedem Teilergebnis gerade 200-300 ms transatlantischen Roundtrip hinzugefügt. Verwaltete Anbieter mit regionalen Endpunkten (oder selbst gehostete Enterprise-Deployments nahe Ihrer Medienebene) löschen das aus. Für Dual-Market-Stacks USA-Indien ist das entscheidend – siehe unsere Architektur für grenzüberschreitende Latenz.
Die ehrliche Einschätzung: Für die meisten Teams unter ~50 parallelen Anrufen gewinnt der verwaltete Dienst bei den Gesamtkosten, sobald Sie die Ingenieurzeit einpreisen. Darüber beginnt die Rechnung, das Selfhosting zu bevorzugen – wenn Sie das Plattformteam haben.
Wie die STT-Wahl in die gesamte Roundtrip-Latenz durchschlägt
Hier ein repräsentatives Rundenbudget für einen eingehenden Anruf, Ziel < 1000ms wahrgenommene Antwortzeit:
| Stufe | Verwaltet (Deepgram) | Selbst gehostetes Whisper (naiv) |
|---|---|---|
| SIP-/Medientransport | 80ms | 80ms |
| STT-Finalisierung (nach Endpoint) | 250ms | 700ms |
| Erstes LLM-Token | 350ms | 350ms |
| Erstes TTS-Byte | 150ms | 150ms |
| Wahrgenommene Antwort | ~830ms | ~1280ms |
Gleiches LLM, gleiches TTS. Allein die STT-Wahl kippt das Erlebnis des Anrufers über die „wirkt menschlich"-Linie. Diese 450 ms sind der Unterschied zwischen einem Agent, mit dem Menschen sprechen, und einem, bei dem sie auflegen. STT-Latenz ist kein Posten – sie ist ein Multiplikator auf alles Nachgelagerte. Deshalb behandeln wir sie als Budget, nicht als Benchmark. Mehr zur vollständigen Pipeline in jenseits des Wrappers.
Entscheidungsmatrix: Wählen Sie nach Anrufvolumen, Sprachmix und Latenz-SLA
- < 50 parallel, überwiegend Englisch, enges SLA → Verwaltet (Deepgram oder vergleichbar). Die aufwandsbereinigten Kosten schlagen Sie nicht, und Streaming/Endpointing ist gelöst.
- Hohes Volumen (100+ parallel), stabiler Verkehr, Plattformteam an Bord → Selbst gehostetes Whisper (faster-whisper) gewinnt allmählich bei den Grenzkosten. Kalkulieren Sie das VZÄ ehrlich ein.
- Stark mehrsprachig / Code-Switching → Testen Sie beide auf Ihren Sprachen. Whispers mehrsprachige Breite ist stark, aber die WER schwankt je nach Sprache enorm; verwaltete Engines schwanken ebenfalls. Nicht annehmen – messen. Siehe die versteckte Mehrsprachigkeitssteuer.
- Reguliert / Datenresidenz (Gesundheitswesen, Indien-DLT, EU) → Selbst gehostet oder ein regionales verwaltetes Deployment, ausgewählt danach, wo Ihr Medienstrom rechtlich bleiben muss.
- Halluzinationsempfindlich (das Transkript speist ein LLM, das darauf handelt) → Wägen Sie Whispers Stille-Halluzination gegen Deepgrams sanfte Verschlechterung ab und ergänzen Sie in jedem Fall Leitplanken. Unser Playbook zum Stoppen von Halluzinationen in Voice-KI gilt hier unmittelbar.
Das Fazit
Whisper vs. Deepgram ist kein Genauigkeitswettbewerb – es ist eine Entscheidung über Latenzbudget und Betriebslast. Verwaltet gewinnt bei Aufwand und Time-to-Ship; selbst gehostetes Whisper gewinnt bei den Grenzkosten nur bei echter Skalierung und nur mit einem Plattformteam dahinter. So oder so gilt: Benchmarken Sie auf Ihrem eigenen Telefonieaudio, stimmen Sie das Endpointing konsequent ab und rechnen Sie den vollständigen Roundtrip mit ein. Das Transkript sind nur die ersten 300 ms eines Ein-Sekunden-Versprechens an den Anrufer.
FAQ
Ist Whisper 2025 genauer als Deepgram? Auf sauberem 16-kHz-Audio ist Whisper large-v3 sehr stark. Auf verrauschter 8-kHz-Telefonie – dem Audio, das ein Voice-Agent tatsächlich hört – schrumpft der Abstand oder kehrt sich um, und Whispers Stille-Halluzination ist ein reales Risiko. Benchmarken Sie auf Ihren eigenen aufgezeichneten Anrufen, bevor Sie entscheiden.
Was kostet es wirklich, Whisper selbst zu hosten?
Nicht nichts. Bei 100 parallelen Echtzeit-Streams rechnen Sie mit 8-12 GPUs ($7-10k/month) plus 0,5-1 VZÄ Plattform-Engineering. All-in landet das bei etwa $0.006-0.012/min – nur bei Skalierung konkurrenzfähig mit verwalteten Diensten.
Kann Whisper Echtzeit-Streaming? Nicht nativ – es ist ein Batch-Modell. Community-Wrapper (WhisperLive, faster-whisper + VAD) ergänzen Streaming, aber die Latenz bis zum ersten Token (500 ms bis über 1 s) und der Jitter sind schlechter als bei APIs mit nativem Streaming. Barge-in und Endpointing werden zu Ihrer Baustelle.
Was ist besser für einen Contact-Center-Voice-Agent? Für die meisten Teams unter ~50 parallelen Anrufen eine verwaltete Streaming-API (Deepgram oder vergleichbar) mit abgestimmtem Endpointing und regionalem Endpunkt. Darüber, mit Plattformteam, beginnt selbst gehostetes Whisper bei den Kosten zu gewinnen. Das SLA, nicht die WER, sollte die Entscheidung treiben.
Bauen Sie einen Voice-Agent, der das Latenzbudget einhält
Finn liefert produktionsreife Contact-Center-Voice-Agents, bei denen STT, Endpointing und regionales Routing bereits auf den Roundtrip unter einer Sekunde abgestimmt sind – Sie sparen sich also die GPU-Rechnerei und den Pager um 3 Uhr nachts. Sehen Sie, wie Finn Voice-Agents unter der Latenzgrenze hält →
Passend dazu: KI-Agenten-Deployment: Voice-Agents zuverlässig betreiben
Passend dazu: Call-Tracking für KI-Voice-Agents: von der Attribution zum Umsatz
