Metodología
La tabla de abajo muestra lo rápido y lo preciso que es realmente cada motor, medido en la misma máquina (Apple M5), sin redondeos de marketing. La fila de CPU de Whisper se ejecutó con 4 hilos y Parakeet con 8, así que las filas de CPU no son una comparación hilo por hilo. El factor de tiempo real (RTF) es el tiempo de procesamiento dividido entre la duración del audio: cuanto menor, más rápido; 1,0× significa exactamente tiempo real. La tasa de error de palabras (WER) es la distancia de edición estándar a nivel de palabra (sustituciones + eliminaciones + inserciones) dividida entre el número de palabras de referencia, agregada sobre todos los enunciados del conjunto de prueba (primero se suman las ediciones y las palabras de referencia, en lugar de promediar el WER por enunciado, lo que sobrevaloraría las frases cortas). El conjunto de prueba son 20 enunciados (unos 94 segundos en total) de LibriSpeech dev-clean (CC BY 4.0, Panayotov et al. 2015): habla leída de audiolibros de dominio público con transcripciones de referencia conocidas. Sigue siendo una muestra pequeña y limpia: el audio real con acentos, ruido de fondo o habla rápida dará peores resultados. Considera cada fila como un mínimo, no como una garantía. whisper.cpp aparece dos veces a propósito: una vez con su backend de GPU (Metal) activado y otra con la GPU desactivada explícitamente (-ng/--no-gpu), así que la fila solo de CPU es una comparación justa, con el mismo hardware, frente a la fila de CPU de Parakeet. Parakeet también puede usar una GPU: en el Apple M5 tardó 7,0 s frente a 38,3 s en CPU para 18 grabaciones en alemán (456 s de audio, modelo q8_0), y en un portátil Windows con Intel Iris Xe (Vulkan), 14,1 s frente a 27,1 s para 18 grabaciones en alemán (276 s). Esas pruebas no están en la tabla porque se midieron con otros audios.
| Clase de hardware | Motor | Modelo | Velocidad | Precisión | |
|---|---|---|---|---|---|
| Apple Silicon (Metal) | whisper.cpp | small (Compact) | 8.5× más rápido que el tiempo real RTF 0.1173× | 96.6% de palabras correctas WER 3.4 % | Medido |
| Apple Silicon (CPU) | whisper.cpp | small (Compact) | 3.3× más rápido que el tiempo real RTF 0.3068× | 96.6% de palabras correctas WER 3.4 % | Medido |
| Apple Silicon (CPU) | Parakeet (sherpa-onnx) | parakeet-tdt-0.6b-v3 | 34.7× más rápido que el tiempo real RTF 0.0288× | 98.1% de palabras correctas WER 1.9 % | Medido |
La diferencia de un vistazo
Ambos motores solo con CPU, en el mismo equipo y sin ventaja de GPU para ninguno de los dos (Whisper con 4 hilos, Parakeet con 8).
Cómo se midieron estas cifras
Estas cifras proceden de un único equipo con Apple Silicon, cada motor medido una vez en las mismas condiciones. Otro hardware (otros chips, estado térmico, carga de fondo) dará cifras distintas. Los scripts de abajo muestran exactamente qué se midió y cómo, por si quieres comprobar los detalles.
Ver el script de benchmark de whisper.cpp en GitHub · Ver el script de benchmark de Parakeet en GitHub