Ferramentas · Inteligência artificial

Benchmark de IA

Quão rápido e quão certo é um modelo de IA no seu aparelho? Carregue um modelo no navegador, ou aponte para o seu servidor, e meça: tokens por segundo, tempo até o primeiro token e acurácia numa suíte de perguntas.

Pessoa de costas, com a mão numa caneca verde, olhando um notebook que mostra gráficos de pizza e de barras em tons de roxo — Medir é melhor que achar

Os resultados não saem do aparelho. Esta página não tem conta, envio de resultado nem contador. A única rede usada é a que você escolhe: o endereço do modelo ou do seu servidor. O histórico fica no armazenamento do seu navegador.

1. Como rodar

Onde o modelo roda

Modelo neste navegadorArquivo GGUF do aparelho ou link. Nada é enviado. Servidor meuOllama ou qualquer API compatível com OpenAI.

Arquivo do modelo (.gguf)Prefira modelos pequenos e quantizados (Q4). Ele é lido aqui, não é enviado.

Link do modelo (.gguf)O navegador baixa o arquivo direto desse endereço; o servidor dele precisa liberar acesso (CORS).

Opções da rodada

Repetições de velocidade

Perguntas de qualidade

Antes de começar: limites honestos

No navegador cabem modelos de até uns 3 bilhões de parâmetros, quantizados. Maior que isso costuma estourar a memória da aba.
Rodar a rodada inteira usa a máquina no máximo por alguns minutos: gasta bateria e o celular esquenta. Se esquentar, a velocidade cai, e a página avisa.
Os números valem para este aparelho, neste momento, com este navegador. Outro navegador ou outro aparelho dá outro resultado.
Acurácia numa suíte pequena tem margem de erro grande: por isso mostramos o intervalo de confiança e a linha do acaso.

3. Resultado

Velocidade por execução

Mesmos números do gráfico, execução por execução (a de aquecimento não entra).
Prompt	Rep.	Geração tok/s	1º token	Leitura tok/s

Aparelho

Cartão para compartilhar

Histórico neste aparelho

Nenhuma rodada guardada ainda.

Importar JSON

Fontes e método

Privacidade: o resultado é montado e guardado no seu aparelho (IndexedDB do navegador). Não há envio, conta nem contador nesta página. As únicas conexões são as que você digita: o link do modelo ou o endereço do seu servidor.
Velocidade: uma geração de aquecimento é descartada; depois, 3 repetições (ajustável) com prompts de cerca de 128 e 512 tokens, temperatura 0. Geração (decode) = tokens gerados menos o primeiro, divididos pelo tempo entre o primeiro e o último token. Leitura do prompt (prefill) = tokens do prompt divididos pelo tempo até o primeiro token. Mostramos a mediana; o percentil 95 do tempo até o 1º token fica no JSON.
Throttling: se a geração da última repetição for mais de 20% mais lenta que a da primeira (mesmo tamanho de prompt), a página avisa que o aparelho provavelmente esquentou.
Qualidade: perguntas de múltipla escolha com resposta única; a acurácia vem com intervalo de confiança de Wilson a 95% e a linha do acaso. Suíte pequena = intervalo largo; não tire conclusão de diferença menor que ele.
Cartão: SVG montado por texto e convertido em PNG por canvas, no navegador.

Benchmark de IA

1. Como rodar

Antes de começar: limites honestos

2. Rodando

3. Resultado

Velocidade por execução

Qualidade

Aparelho

Cartão para compartilhar

Histórico neste aparelho

Fontes e método

Ferramentas relacionadas

Calculadora de frete

Calculadora de margem e preço de venda: Shopee

Calculadora de margem e preço de venda: Amazon