Методика
Таблица ниже показывает, насколько быстро и насколько точно работает каждый движок на самом деле: измерено на одной и той же машине (Apple M5), без маркетингового округления. Строка Whisper на CPU запускалась с 4 потоками, Parakeet — с 8, поэтому строки CPU нельзя сравнивать при равном числе потоков. Real-Time Factor (RTF) — время обработки, делённое на длительность аудио: чем меньше, тем быстрее, 1,0× означает ровно реальное время. Word Error Rate (WER) — стандартное пословное расстояние редактирования (замены + удаления + вставки), делённое на число слов в эталоне, усреднённое по всем фрагментам тестового набора (сначала суммируются правки и эталонные слова, а не усредняется WER по каждому фрагменту, иначе короткие предложения получили бы излишний вес). Тестовый набор — 20 фрагментов (около 94 секунд всего) из LibriSpeech dev-clean (CC BY 4.0, Panayotov et al. 2015): чтение вслух из аудиокниг, перешедших в общественное достояние, с известными эталонными расшифровками. Это по-прежнему небольшая выборка чистой речи: реальное аудио с акцентами, фоновым шумом или быстрой речью даст худшие результаты. Считайте каждую строку здесь нижней границей, а не гарантией. whisper.cpp намеренно указан дважды: один раз с включённым GPU-бэкендом (Metal) и один раз с явно отключённым (-ng/--no-gpu). Так строка «только CPU» — честное сравнение с CPU-строкой Parakeet на том же оборудовании. Parakeet может дополнительно использовать GPU: на Apple M5 это 7,0 с вместо 38,3 с на CPU для 18 немецких записей (456 с аудио, q8_0), на ноутбуке с Intel Iris Xe (Vulkan) 14,1 с вместо 27,1 с для 18 немецких записей (276 с). Эти прогоны не входят в таблицу, потому что записаны на других аудиоданных.
| Класс оборудования | Движок | Модель | Скорость | Точность | |
|---|---|---|---|---|---|
| Apple Silicon (Metal) | whisper.cpp | small (Compact) | 8.5× быстрее реального времени RTF 0.1173× | 96.6% верных слов WER 3.4 % | Измерено |
| Apple Silicon (CPU) | whisper.cpp | small (Compact) | 3.3× быстрее реального времени RTF 0.3068× | 96.6% верных слов WER 3.4 % | Измерено |
| Apple Silicon (CPU) | Parakeet (sherpa-onnx) | parakeet-tdt-0.6b-v3 | 34.7× быстрее реального времени RTF 0.0288× | 98.1% верных слов WER 1.9 % | Измерено |
Разница наглядно
Оба движка только на CPU, на одной машине, без преимущества GPU ни у одного из них (Whisper на 4 потоках, Parakeet на 8).
Как были измерены эти цифры
Эти цифры получены на одной машине с Apple Silicon: каждый движок измерен один раз в одинаковых условиях. Другое оборудование (другие чипы, тепловой режим, фоновая нагрузка) даст другие цифры. Скрипты ниже показывают, что именно и как измерялось, если вы хотите проверить детали.
Скрипт бенчмарка whisper.cpp на GitHub · Скрипт бенчмарка Parakeet на GitHub