Methodik
Die Tabelle unten zeigt, wie schnell und wie genau jede Engine tatsächlich ist — gemessen auf derselben Maschine (Apple M5), ohne Marketing-Rundung. Die Whisper-CPU-Zeile lief mit 4 Threads, Parakeet mit 8, die CPU-Zeilen sind also kein Vergleich bei gleicher Threadzahl. Real-Time-Faktor (RTF) ist Verarbeitungszeit geteilt durch Audiolänge — niedriger ist schneller, 1,0× bedeutet exakt Echtzeit. Word Error Rate (WER) ist die übliche Wortebene-Editierdistanz (Ersetzungen + Löschungen + Einfügungen) geteilt durch die Wortzahl der Referenz, mikro-gemittelt über jede Probe im Testset (Editierungen und Referenzwörter werden zuerst summiert, nicht die WER pro Probe gemittelt — das würde kurze Sätze übergewichten). Das Testset umfasst 20 Sprachproben (rund 94 Sekunden gesamt) aus LibriSpeech dev-clean (CC BY 4.0, Panayotov et al. 2015) — vorgelesene, gemeinfreie Hörbuch-Passagen mit bekanntem Referenz-Transkript. Das ist weiterhin eine kleine Probe mit sauberer Sprachqualität — reales Audio mit Akzenten, Hintergrundgeräuschen oder schnellem Sprechen schneidet schlechter ab. Jede Zeile hier ist eine Untergrenze, keine Garantie. whisper.cpp steht bewusst zweimal in der Tabelle: einmal mit aktiviertem GPU-Backend (Metal), einmal mit explizit deaktivierter GPU (-ng/--no-gpu) — so ist die CPU-Zeile ein fairer Vergleich auf derselben Hardware-Basis gegen die CPU-Zeile von Parakeet. Parakeet kann zusätzlich eine GPU nutzen: Auf dem Apple M5 brauchte es dafür mit dem q8_0-Modell 7,0 s statt 38,3 s auf der CPU für 18 deutsche Aufnahmen (456 s Audio), auf einem Windows-Laptop mit Intel Iris Xe (Vulkan) 14,1 s statt 27,1 s für 18 deutsche Aufnahmen (276 s). Diese Läufe stehen nicht in der Tabelle, weil sie auf anderen Aufnahmen gemessen wurden.
| Hardware-Klasse | Engine | Modell | Geschwindigkeit | Genauigkeit | |
|---|---|---|---|---|---|
| Apple Silicon (Metal) | whisper.cpp | small (Compact) | 8.5× schneller als Echtzeit RTF 0.1173× | 96.6% der Wörter korrekt WER 3.4 % | Gemessen |
| Apple Silicon (CPU) | whisper.cpp | small (Compact) | 3.3× schneller als Echtzeit RTF 0.3068× | 96.6% der Wörter korrekt WER 3.4 % | Gemessen |
| Apple Silicon (CPU) | Parakeet (sherpa-onnx) | parakeet-tdt-0.6b-v3 | 34.7× schneller als Echtzeit RTF 0.0288× | 98.1% der Wörter korrekt WER 1.9 % | Gemessen |
Der Unterschied auf einen Blick
Beide Engines nur auf der CPU, dieselbe Maschine, ohne GPU-Vorteil auf einer Seite (Whisper mit 4 Threads, Parakeet mit 8).
Wie diese Zahlen gemessen wurden
Diese Zahlen stammen von einer Apple-Silicon-Maschine, jede Engine einmal unter denselben Bedingungen gemessen. Andere Hardware — andere Chips, Temperaturdrosselung, Hintergrundlast — liefert andere Zahlen. Die Skripte unten zeigen genau, was gemessen wurde und wie, falls du die Details nachvollziehen willst.
Das whisper.cpp-Benchmark-Skript auf GitHub ansehen · Das Parakeet-Benchmark-Skript auf GitHub ansehen