#benchmarks-de-llm

31 posts

19 Oct

LLM Benchmark v4: os top LLMs open source numa B300

Aluguei uma NVIDIA B300 de 288 GB na Runpod e rodei meu benchmark v4 de sabotagem em 14 modelos abertos que não cabem em casa. Nenhum serve rápido do jeito que vem: o GLM 5.3 Flash saiu de 10 pra 141 tokens por segundo só de configuração. Dois modelos abertos chegaram a 92,5, nível Sonnet 5, e um fine-tune de 27B fez 88. Um flagship de 397B deixou passar uma backdoor de admin, o DeepSeek V4 Flash fez 86 na nuvem e 44,5 em casa, e o Nemotron trapaceou no teste. A conta: a API em nuvem do mesmo modelo custa um dólar por rodada e o pod custa 218 por dia. Quando vale a pena ter a própria infra, e se um time cabe numa placa só.

#benchmarks-de-llm #modelos-locais #llms #hardware

11 Oct

Existem Linguagens Melhores pra programar com LLMs?

DHH converteu o Campfire dele pra várias linguagens com IA e saiu postando que Rust ganhou. Em vez de brigar no X, montei um benchmark reproduzível: 7 linguagens, 4 configurações de LLM, 112 tentativas de implementação, e um teste de fila sob pressão com Elixir, Rust, Rails e Ruby puro. Resultado: nenhum ranking de linguagem se sustenta, Ruby conciso custou mais tokens que Rust, tipagem forte não poupou reparo nenhum, e sob carga as quatro stacks empataram em vazão. O que importa é teste e disciplina, não linguagem.

#benchmarks-de-llm #linguagens-de-programacao #llms #elixir-e-erlang

10 Oct

Qual modelo de decisão/classificador de IA tipo Jev é melhor?

Rodei meu próprio benchmark de modelos de decisão: Jev, Clef, OpenAI Decisions e Microsoft Decision-1 na nuvem, mais dezoito configurações abertas (Perplexity Decider 27B, Decision 3.0 e Edge, Clef-flash, Kev, Jebadiah, Mapika, Eikos, Laya, Julia, GLiNER, Simple-Jev) no meu Strix Halo via ROCm e numa RTX 5090 via CUDA, em mais de 22 mil classificações com casos em inglês e português. O topo agora tem dois de pesos abertos: Perplexity e Decision 3.0 empataram em 99,4%, com rótulos idênticos nas 1.024 classificações e 100% em português. O Microsoft Decision-1 empatou com o Jev em 97,6% sendo o hospedado mais barato. Na 5090 os 4B caem pra 39-91 ms, mais rápidos que qualquer hospedado, e os campeões de 27B nem cabem nos 32 GB da placa. Tabela completa, custo em e-mails de suporte, pegadinhas e onde os dados convergem.

#benchmarks-de-llm #modelos-locais #inteligencia-artificial #llms

30 Sep

O Mistério do Genesys PI da LUA Vision - Modelo Frontier Brasileiro??

Depois do primeiro teste do Genesys PI, a LUA Vision corrigiu bugs na API e eu rodei tudo de novo: custo caiu 85%, o House subiu pra 95,5 e o Enterprise ficou igual. Fiz também uma análise forense de caixa-preta pra responder se o modelo é um Qwen rebatizado, um gpt-oss disfarçado ou um proxy de API. Separo o que está checado do que ainda é só a palavra deles.

#benchmarks-de-llm #llms #inteligencia-artificial

23 Sep

LLM Benchmark v4: Genesys PI, novo competidor brasileiro!

A LUA Vision me chamou pelo LinkedIn oferecendo acesso de teste ao Genesys PI, modelo brasileiro treinado do zero. Rodei os dois tiers, House e Enterprise, no meu benchmark v4 de sabotagem, comparo contra Opus, GPT-6, Grok e concorrentes chineses, e analiso preço, vantagens e onde ele faz sentido no mercado nacional.

#benchmarks-de-llm #llms #agentes-de-codigo

23 Sep

LLM Benchmark v4: Opus 5.5, GPT Sol/Luna 6, Mimo 2.6, Grok 4.7

Cinco modelos novos entraram no meu benchmark v4 de sabotagem: Opus 5.5, GPT 6 sol e luna, MiMo V2.6 Pro e Grok 4.7. Comparo com benchmark externo, respondo se compensa migrar, e o Grok 4.7 regride feio contra o próprio antecessor.

#benchmarks-de-llm #llms #agentes-de-codigo

15 Sep

Novo LLM Benchmark v4: retestando 39 LLMs (Parte 2)

A tabela completa do v4, quase quarenta modelos ranqueados por vigilância, não por completude: seis empates no topo, um modelo de graça batendo metade do Claude, GLM ganhando num plano flat-rate, e o teste que fiz pra saber se Kimi ou DeepSeek escondem uma ligação secreta com Claude por baixo do capô.

#benchmarks-de-llm #llms #agentes-de-codigo

15 Sep

Novo LLM Benchmark v4: retestando TODOS os principais LLMs (Parte 1)

Refiz meu benchmark do zero pela terceira vez. Rejeitei uma versão inteira, construí um app Rails sabotado com CVEs reais e gastei mais de 4 mil dólares em 9 dias. Nesta Parte 1, o processo, o custo e o porquê.

#benchmarks-de-llm #llms #agentes-de-codigo

22 Aug

LLM Benchmarks: Os últimos Deepseek v4, parem de perguntar

Rodei os snapshots novos do Deepseek v4 no benchmark: Flash saltou de 80 pra 90 e o Pro de 82 pra 91, ambos Tier A, os mais baratos do pelotão. Continuo preferindo Kimi K3 e GLM 5.3, e explico por que nota parecida não significa modelo equivalente.

#benchmarks-de-llm #llms #agentes-de-codigo

15 Aug

LLM Benchmarks: Qwen 3.8, GLM 5.3, Gemini 3.7, Grok 4.6

GLM 5.3 fez 94 e encostou no trio da liderança. Qwen 3.8 Max saltou de 51 pra 92 ao parar de alucinar a API do RubyLLM. Gemini 3.7 Flash fez 93 — depois de ter a primeira rodada anulada por cola. E o Qwen 27B local mostrou que o gargalo agora é contexto.

#benchmarks-de-llm #llms #agentes-de-codigo

30 Jul

Novo LLM Benchmark: refiz todos os testes!

Refiz o LLM Coding Benchmark com uma prova mais difícil, três fases, harnesses nativos e tiers novos. Fable liderou, Terra empatou com Sol como melhor GPT e 24 modelos ficaram aptos para programação.

#benchmarks-de-llm #llms #agentes-de-codigo

25 Jul

LLM Benchmark: Opus 5 é bom?

Opus 5 fez 95/100 no benchmark Rails, empatou com Opus 4.8 e passou o Fable 5 por um ponto. A tarifa é metade da do Fable, mas o teste estreito não define o melhor LLM.

#benchmarks-de-llm #llms #agentes-de-codigo

19 Jul

LLM Benchmark: Devo usar o que tem nota maior?

Por que o primeiro lugar num ranking de LLMs não é necessariamente o melhor modelo, por que 90+ é um cluster e como usar benchmarks sem terceirizar sua decisão técnica.

#benchmarks-de-llm #llms

17 Jul

LLM Benchmark: Kimi K3 chegou no nível do Claude Opus?

Coloquei o Kimi K3 para criar sozinho um chat em Rails 8: fez 89/A, superou o Opus 4.6 e foi uma alternativa mais barata ao Opus 4.8. Ainda ficou atrás dele em arquitetura, hardening e testes.

#benchmarks-de-llm #llms #agentes-de-codigo

09 Jul

LLM Benchmarks: Grok 4.5 e GPT 5.6 Sol

Grok 4.5 entrou na Tier A com 87, e GPT 5.6 Sol marcou 92. O Sol venceu o GPT 5.5 por 92 a 81 no A/B cego, mas a reauditoria o levou a 85. Com o cache-read corrigido, Opus 4.8 segue o melhor equilíbrio na API.

#benchmarks-de-llm #llms

01 Jul

LLM Benchmark: Sonnet 5 falha, Gemini Flash surpreende, Sakana Fugu quase chega ao Tier A

No benchmark de coding, Sonnet 5 marcou 58/100 porque chamou uma API inexistente, enquanto Gemini 3.5 Flash fez 93/100. Sakana Fugu Ultra ficou em 79/100, perto do Tier A.

#benchmarks-de-llm #llms #agentes-de-codigo

14 Jun

LLM Benchmark: Kimi v2.7 code, GLM 5.2, Minimax M3 local

No benchmark, GLM 5.2 marcou 87 e Kimi K2.7 Code, 86. O MiniMax M3 aberto não cabe em 128 GB, enquanto programação séria ainda pede Opus 4.8 ou GPT 5.5.

#benchmarks-de-llm #llms #modelos-locais

11 Jun

LLM Benchmark: Fable 5 e a novela da Anthropic

Fable 5 marcou 94/100, praticamente empatado com o Opus 4.8, mas custa dez vezes mais e redireciona tarefas sensíveis. Como o Mythos não é auditável, fico no 4.8.

#benchmarks-de-llm #llms

01 Jun

LLM Benchmarks - Atualizando sobre Grok 4.3, MiniMax v3 e Opus 4.8

No benchmark Rails 8, Opus 4.8 mantém a liderança com 95/100, enquanto Grok 4.3 e MiniMax M3 enfim ficam usáveis, mas seguem no Tier B e atrás de GPT e Opus.

#benchmarks-de-llm #llms #agentes-de-codigo

04 May

LLM Benchmarks: DeepSeek Destravado! Use DeepClaude

Troquei o harness do opencode pelo loop do Claude Code via DeepClaude e o DeepSeek V4 Pro subiu de 69/B para 89/A em 18 minutos e $3,14. O bug de multi-turn no controller continua.

#benchmarks-de-llm #agentes-de-codigo #llms

25 Apr

LLM Benchmarks: Vale a Pena ($$) Misturar 2 Modelos? (Planner + Executor)

Três rodadas mostram que multi-agente não supera o Opus 4.7 solo no opencode, que fez 97/100 em 18 minutos por cerca de $4. GPT 5.4 xHigh com executor medium economiza, mas perde 3 pontos.

#benchmarks-de-llm #agentes-de-codigo #llms

24 Apr

Benchmark de LLMs pra Coding (Maio 2026): DeepSeek v4, Kimi v2.6, Grok 4.3, GPT 5.5

Reauditei 24 LLMs na mesma aplicação Rails com RubyLLM: Opus 4.7 e GPT 5.4 empatam em 97, GPT 5.5 chega a 96, Kimi e Gemini viram Tier A, e DeepSeek V4 Pro só atinge Tier A via DeepClaude.

#benchmarks-de-llm #llms #agentes-de-codigo

18 Apr

LLM Benchmarks Parte 2: Vale Combinar Múltiplos Modelos no Mesmo Projeto? Claude + GLM??

Testei sete combinações em Claude Code, opencode e Codex, mas nenhum sub-agente foi chamado. A variância entre runs e harnesses mantém Opus sozinho como padrão para projetos greenfield.

#benchmarks-de-llm #agentes-de-codigo #llms

05 Apr

Testando LLMs Open Source e Comerciais - Quem Consegue Bater o Claude Opus?

Este benchmark histórico comparou 33 LLMs num app Rails: Opus, Sonnet e GLM 5 funcionaram, enquanto Qwen 3.6 35B chegou perto na RTX 5090 após uma correção. Os rankings foram depois revisados.

#benchmarks-de-llm #llms #modelos-locais

29 Jan

Vibe Code: Qual LLM é a MELHOR?? Vamos falar a REAL

Submeti o mesmo app a análises de Opus, GPT 5.2 Codex, Kimi, Gemini e MiniMax. Cada modelo encontrou problemas diferentes, mas nenhum eliminou a necessidade de revisão humana.

#benchmarks-de-llm #llms #vibe-coding

24 Jan

AI Agents: Qual é o melhor? OpenCode, Crush, Claude Code, GPT Codex, Copilot, Cursor, Windsurf, Antigravity?

Comparei agentes como Crush, OpenCode, Claude Code e Codex e concluí que os harnesses proprietários ainda influenciam o resultado. Mesmo assim, continuo preferindo o Crush e uso Claude Code pontualmente.

#agentes-de-codigo #benchmarks-de-llm

22 Jan

AI Agents: GLM 4.7 Flash é realmente tão bom assim?

Rodei o GLM 4.7 Flash localmente numa RTX 5090 e ele foi o único modelo open source a compilar o desafio de Zig. O comportamento foi bom, mas ampliar o contexto o deixou até 20 vezes mais lento.

#benchmarks-de-llm #modelos-locais #agentes-de-codigo

11 Jan

AI Agents: Comparando as principais LLM de 2026 no Desafio de Zig

Testei LLMs comerciais e open source numa migração difícil de Zig 0.15 com llama.cpp. Só as comerciais concluíram, e Claude Opus venceu por resolver tudo mais rápido e com menos insistência.

#benchmarks-de-llm #agentes-de-codigo #llms

01 May

Rant - LLMs vão evoluir pra sempre? Desmistificando LLMs na programação

Após testar Claude, Gemini, Qwen e outros em refatorações reais, questiono benchmarks, evolução exponencial e Vibe Coding. LLMs ajudam, mas ainda dependem de programadores atentos para revisar e corrigir.

#llms #vibe-coding #benchmarks-de-llm #off-topic

28 Apr

Testando o Recém Lançado LLM Open Source - Qwen3 (com Aider e Ollama)

Testei o Qwen3 com Aider, localmente e via OpenRouter, em refatorações e testes. O 14B foi muito mais rápido e competente que o Qwen2.5, embora o Gemini ainda tenha levado vantagem.

#benchmarks-de-llm #llms #agentes-de-codigo

27 Apr

Testando LLMs com Aider na RunPod - qual usar pra código?

Comparei modelos de código com Aider na RTX 4090, A40 e H100. O Qwen2.5-Coder 32B foi lento e frustrante, enquanto o 7B se saiu melhor, mas Claude e Gemini venceram.

#benchmarks-de-llm #llms #agentes-de-codigo

2026 - outubro

2026 - setembro

2026 - agosto

2026 - julho

2026 - junho

2026 - maio

2026 - abril

2026 - janeiro

2025 - maio

2025 - abril