Metodologia
A tabela abaixo mostra quão rápido e quão preciso cada motor realmente é, medido na mesma máquina (Apple M5), sem arredondamentos de marketing. A linha do Whisper na CPU rodou com 4 threads e a do Parakeet com 8, então as linhas de CPU não são uma comparação thread a thread. O Fator de Tempo Real (RTF) é o tempo de processamento dividido pela duração do áudio: quanto menor, mais rápido; 1,0× significa exatamente tempo real. A Taxa de Erro de Palavras (WER) é a distância de edição padrão em nível de palavra (substituições + exclusões + inserções) dividida pelo número de palavras da referência, com média micro calculada sobre todos os enunciados do conjunto de teste (somando primeiro as edições e as palavras de referência, em vez de calcular a média do WER por enunciado, o que superestimaria frases curtas). O conjunto de teste tem 20 enunciados (cerca de 94 segundos no total) do LibriSpeech dev-clean (CC BY 4.0, Panayotov et al. 2015): fala lida de audiolivros de domínio público com transcrições de referência conhecidas. Ainda assim, é uma amostra pequena e limpa; áudio do mundo real com sotaques, ruído de fundo ou fala rápida terá resultados piores. Trate cada linha aqui como um piso, não como uma garantia. O whisper.cpp aparece duas vezes de propósito: uma com o backend de GPU (Metal) ativado e outra com ele explicitamente desativado (-ng/--no-gpu), para que a linha só com CPU seja uma comparação justa, no mesmo hardware, com a linha de CPU do Parakeet. O Parakeet também pode usar uma GPU: no Apple M5 levou 7,0 s em vez de 38,3 s na CPU para 18 gravações em alemão (456 s de áudio, modelo q8_0), e em um notebook Windows com Intel Iris Xe (Vulkan), 14,1 s em vez de 27,1 s para 18 gravações em alemão (276 s). Essas execuções não estão na tabela porque foram medidas em outros áudios.
| Classe de hardware | Motor | Modelo | Velocidade | Precisão | |
|---|---|---|---|---|---|
| Apple Silicon (Metal) | whisper.cpp | small (Compact) | 8.5× mais rápido que o tempo real RTF 0.1173× | 96.6% das palavras corretas WER 3.4 % | Medido |
| Apple Silicon (CPU) | whisper.cpp | small (Compact) | 3.3× mais rápido que o tempo real RTF 0.3068× | 96.6% das palavras corretas WER 3.4 % | Medido |
| Apple Silicon (CPU) | Parakeet (sherpa-onnx) | parakeet-tdt-0.6b-v3 | 34.7× mais rápido que o tempo real RTF 0.0288× | 98.1% das palavras corretas WER 1.9 % | Medido |
A diferença de relance
Os dois motores só na CPU, na mesma máquina, sem vantagem de GPU para nenhum dos lados (Whisper com 4 threads, Parakeet com 8).
Como esses números foram medidos
Estes números vêm de uma única máquina Apple Silicon, com cada motor medido uma vez nas mesmas condições. Outro hardware — chips diferentes, estado térmico, carga de fundo — terá números diferentes. Os scripts abaixo mostram exatamente o que foi medido e como, caso você queira conferir os detalhes.
Ver o script de benchmark do whisper.cpp no GitHub · Ver o script de benchmark do Parakeet no GitHub