Pular para o conteúdo

Qual tamanho de modelo Whisper cabe na sua máquina?

O WhisPaste traz três modelos Whisper quantizados e uma alternativa voltada ao processador. Informe ao seletor quanta memória gráfica você tem, e ele aplica a mesma regra que o próprio app usa para recomendar um nível.

Resposta curta: em NVIDIA ou Apple Silicon, comece com o Equilibrado a partir de cerca de 2 GB de memória gráfica (no Apple: memória unificada); gráficos AMD e Intel precisam de cerca de 4 GB para ele. Fique no Compacto abaixo disso ou sem GPU. O nível Melhor qualidade é recomendado a partir de cerca de 3,6 GB em NVIDIA, de 4 GB em Apple Silicon e de 12 GB em AMD ou Intel. Os três níveis rodam totalmente offline, cobrem 99 idiomas, e você pode trocar a qualquer momento: o app baixa de novo um único arquivo. Se o idioma escolhido para o app na configuração for um dos 25 idiomas europeus suportados pelo Parakeet, o assistente de configuração pré-seleciona o Parakeet, que usa a GPU quando disponível, senão o processador, e no processador foi várias vezes mais rápido que o modelo compacto do Whisper no nosso benchmark.

Os três níveis, lado a lado

O WhisPaste oferece deliberadamente três níveis, em vez do catálogo completo do whisper.cpp. Cada um é um build GGML quantizado, por isso os downloads ficam bem abaixo de 1 GB. Você escolhe um nível nas configurações; o app baixa um arquivo, verifica o checksum e faz a troca.

O que o WhisPaste oferece
NívelModeloDownloadMemória gráfica
Quick & Compactwhisper-small (q5_1)181 MB~900 MB
Balancedwhisper-medium (q5_0)514 MB~1.5 GB
Best Qualitywhisper-large-v3-turbo (q5_0)547 MB~2.6 GB
Parakeetparakeet-tdt-0.6b-v3 (int8)639 MBGPU opcional, senão processador

Receba uma recomendação

Seu hardware gráfico

Memória unificada no Apple Silicon: informe sua memória total do sistema.

Os dados do seu hardware não são enviados a lugar nenhum: a recomendação é calculada no seu navegador.

Sua recomendação

O JavaScript está desativado, então todos os níveis são descritos abaixo. A tabela de comparação acima traz as mesmas informações.

Compacto e rápido — whisper-small

Um download de 181 MB que precisa de cerca de 900 MB de memória gráfica, e o nível que mantém uma máquina modesta responsiva. É o ponto de partida certo para gráficos integrados, uma placa antiga e qualquer máquina sem GPU. A precisão fica abaixo dos níveis maiores em áudios difíceis; para fala clara captada por um microfone razoável, a diferença é menor.

Equilibrado — whisper-medium

Um download de 514 MB que exige cerca de 1,5 GB de memória gráfica. É o nível em que a maioria das pessoas deve estar: costuma ser mais preciso que o Compacto em sotaques e vocabulário técnico, sem o apetite de memória do nível mais alto. Em Apple Silicon, 2 GB de memória unificada bastam para ele; a partir de 4 GB, o seletor recomenda o nível Melhor qualidade.

Melhor qualidade — whisper-large-v3-turbo

Um download de 547 MB que exige cerca de 2,6 GB de memória gráfica. A variante turbo do large-v3 é o maior modelo que o WhisPaste entrega. Vale a pena com uma placa dedicada de cerca de 4 GB ou mais, ou com 4 GB ou mais de memória unificada em Apple Silicon, e é o nível a escolher quando o áudio é difícil: fala rápida, nomes desconhecidos, vocabulário especializado.

Considere também: Parakeet

O Parakeet é o segundo motor no dispositivo, não um nível do Whisper. O download é de 639 MB para o pacote de processador; com a aceleração por GPU ativada, o modelo de GPU soma cerca de 638 MB. No processador, ainda assim, é várias vezes mais rápido que o Whisper — o que o torna a melhor opção em uma máquina sem aceleração gráfica utilizável. A troca é a cobertura de idiomas: 25 idiomas europeus em vez dos 99 do Whisper.

Como a recomendação funciona

O seletor acima não é um palpite: ele aplica os mesmos limites que o app usa. Placas NVIDIA dedicadas são avaliadas com base em cerca de 70% da memória reportada, porque o sistema operacional e outros processos ocupam sua parte: cerca de 2,1 GB reportados para chegar ao Equilibrado, cerca de 3,6 GB para chegar ao nível Melhor qualidade. O Apple Silicon é tratado com generosidade, já que a memória unificada é de fato compartilhada: 2 GB para o Equilibrado, 4 GB para o nível Melhor qualidade. Gráficos integrados AMD e Intel são tratados com a maior cautela de todos: eles reportam memória emprestada do sistema como se fosse própria, então o nível Melhor qualidade só é recomendado a partir de cerca de 12 GB.

O idioma decide mais que o hardware

Antes de otimizar o nível, verifique o idioma. O Whisper cobre 99 idiomas em todos os níveis, então um modelo maior não desbloqueia um novo idioma: ele apenas transcreve o mesmo idioma com mais precisão. O Parakeet é a troca oposta: bem mais rápido num processador, mas restrito a 25 idiomas europeus, incluindo alemão, inglês, francês, espanhol, italiano, polonês, holandês, ucraniano e russo. Se o idioma escolhido para o app na configuração estiver nessa lista e a sua máquina não tiver uma GPU utilizável, o Parakeet vai superar qualquer nível do Whisper em velocidade. O assistente de configuração pré-seleciona o Parakeet quando esse é o idioma escolhido para o app.

Antes de começar

Qual tamanho de modelo Whisper devo começar usando?
Equilibrado (whisper-medium) a partir de cerca de 2 GB de memória gráfica em NVIDIA ou Apple Silicon, a partir de 4 GB em AMD ou Intel. Compacto (whisper-small) abaixo disso ou sem GPU. Trocar depois custa um download, então não há motivo para se preocupar demais no começo.
O maior modelo é sempre a melhor escolha?
Não. Um modelo que não cabe na sua memória gráfica pode falhar ou rodar devagar. O WhisPaste então recorre a um modelo menor, então um modelo que cabe com folga é a escolha mais segura. A precisão também estagna em áudio limpo captado por um microfone razoável: os níveis maiores se pagam em sotaques, ruído e vocabulário especializado.
Posso mudar o tamanho do modelo depois?
Sim. O nível é uma configuração; o app baixa o arquivo correspondente uma vez, verifica-o e passa a usá-lo daí em diante. Nada mais na sua configuração muda.