Méthodologie
Le tableau ci-dessous montre à quelle vitesse et avec quelle précision chaque moteur fonctionne réellement, mesurés sur la même machine (Apple M5), sans arrondi marketing. La ligne CPU de Whisper tournait avec 4 threads et Parakeet avec 8 : les lignes CPU ne constituent donc pas une comparaison thread pour thread. Le facteur temps réel (RTF, Real-Time Factor) est le temps de traitement divisé par la durée de l'audio : plus il est bas, plus c'est rapide ; 1,0× signifie exactement en temps réel. Le taux d'erreur de mots (WER, Word Error Rate) est la distance d'édition standard au niveau des mots (substitutions + suppressions + insertions) divisée par le nombre de mots de référence, calculée sur l'ensemble des énoncés du jeu de test (on additionne d'abord les modifications et les mots de référence, au lieu de moyenner le WER par énoncé, ce qui surpondérerait les phrases courtes). Le jeu de test comprend 20 énoncés (environ 94 secondes au total) tirés de LibriSpeech dev-clean (CC BY 4.0, Panayotov et al. 2015) : une parole lue issue de livres audio du domaine public, avec des transcriptions de référence connues. Il s'agit malgré tout d'un échantillon petit et propre : un audio réel avec accents, bruit de fond ou parole rapide obtiendra de moins bons scores. Considérez chaque ligne comme un plancher, pas comme une garantie. whisper.cpp figure deux fois à dessein : une fois avec son backend GPU (Metal) activé, et une fois avec celui-ci explicitement désactivé (-ng/--no-gpu), pour que la ligne CPU seul soit une comparaison équitable, sur le même matériel, avec la ligne CPU de Parakeet. Parakeet peut aussi utiliser un GPU : sur Apple M5, il a mis 7,0 s au lieu de 38,3 s sur CPU pour 18 enregistrements allemands (456 s d'audio, modèle q8_0), et sur un portable Windows avec Intel Iris Xe (Vulkan), 14,1 s au lieu de 27,1 s pour 18 enregistrements allemands (276 s). Ces essais ne figurent pas dans le tableau, car ils ont été mesurés sur d'autres enregistrements.
| Classe de matériel | Moteur | Modèle | Vitesse | Précision | |
|---|---|---|---|---|---|
| Apple Silicon (Metal) | whisper.cpp | small (Compact) | 8.5× plus rapide que le temps réel RTF 0.1173× | 96.6% de mots corrects WER 3.4 % | Mesuré |
| Apple Silicon (CPU) | whisper.cpp | small (Compact) | 3.3× plus rapide que le temps réel RTF 0.3068× | 96.6% de mots corrects WER 3.4 % | Mesuré |
| Apple Silicon (CPU) | Parakeet (sherpa-onnx) | parakeet-tdt-0.6b-v3 | 34.7× plus rapide que le temps réel RTF 0.0288× | 98.1% de mots corrects WER 1.9 % | Mesuré |
La différence en un coup d'œil
Les deux moteurs sur processeur uniquement, même machine, sans avantage GPU pour l'un ni l'autre (Whisper avec 4 threads, Parakeet avec 8).
Comment ces chiffres ont été mesurés
Ces chiffres proviennent d'une seule machine Apple Silicon, chaque moteur ayant été mesuré une fois dans les mêmes conditions. D'autres matériels (puces différentes, état thermique, charge de fond) donneront d'autres chiffres. Les scripts ci-dessous montrent exactement ce qui a été mesuré et comment, si vous souhaitez vérifier les détails.
Voir le script de benchmark whisper.cpp sur GitHub · Voir le script de benchmark Parakeet sur GitHub