#llms

74 posts

2026 - outubro

6 posts

LLM Benchmark v4: os top LLMs open source numa B300

Aluguei uma NVIDIA B300 de 288 GB na Runpod e rodei meu benchmark v4 de sabotagem em 14 modelos abertos que não cabem em casa. Nenhum serve rápido do jeito que vem: o GLM 5.3 Flash saiu de 10 pra 141 tokens por segundo só de configuração. Dois modelos abertos chegaram a 92,5, nível Sonnet 5, e um fine-tune de 27B fez 88. Um flagship de 397B deixou passar uma backdoor de admin, o DeepSeek V4 Flash fez 86 na nuvem e 44,5 em casa, e o Nemotron trapaceou no teste. A conta: a API em nuvem do mesmo modelo custa um dólar por rodada e o pod custa 218 por dia. Quando vale a pena ter a própria infra, e se um time cabe numa placa só.

Treinei meu próprio modelo de IA (Spoiler: é só pra estudo)

Faltava um exercício: treinar um LLM do zero. Parti do microgpt do Karpathy, 200 linhas de Python puro, e expandi pra um laboratório com tokenizer, pré-treino, SFT, servidor compatível com OpenAI e integração com o OpenCode. Menos de duas semanas, uma RTX 5090, 10 bilhões de tokens, 137 horas de treino, no máximo uns R$ 80 de luz. O modelo final tem 337 milhões de parâmetros, acerta 58 de 100 funções Python simples e zera em tudo que exige agir num repositório. Explico cada etapa, os tropeços, as dimensões contra GPT-2 e modelos de fronteira, e por que acho que o futuro são modelos menores e especializados.

LLMs + Agentes = competente o suficiente

Uma síntese do que venho medindo e escrevendo: os LLMs convergiram. A arquitetura transformer chegou perto do teto, a guerra de parâmetros acabou, e o salto que todos sentimos em 2025 e 2026 veio do harness agêntico (tool calling, prompt caching, sessões longas), não de uma inteligência de base ordens de magnitude maior. Reconto a linha do tempo de 2019 pra cá com fontes, explico por que o agente permite um modelo menos denso, e por que isso já é competente o suficiente pra automatizar engenharia de software de verdade.

Existem Linguagens Melhores pra programar com LLMs?

DHH converteu o Campfire dele pra várias linguagens com IA e saiu postando que Rust ganhou. Em vez de brigar no X, montei um benchmark reproduzível: 7 linguagens, 4 configurações de LLM, 112 tentativas de implementação, e um teste de fila sob pressão com Elixir, Rust, Rails e Ruby puro. Resultado: nenhum ranking de linguagem se sustenta, Ruby conciso custou mais tokens que Rust, tipagem forte não poupou reparo nenhum, e sob carga as quatro stacks empataram em vazão. O que importa é teste e disciplina, não linguagem.

Qual modelo de decisão/classificador de IA tipo Jev é melhor?

Rodei meu próprio benchmark de modelos de decisão: Jev, Clef, OpenAI Decisions e Microsoft Decision-1 na nuvem, mais dezoito configurações abertas (Perplexity Decider 27B, Decision 3.0 e Edge, Clef-flash, Kev, Jebadiah, Mapika, Eikos, Laya, Julia, GLiNER, Simple-Jev) no meu Strix Halo via ROCm e numa RTX 5090 via CUDA, em mais de 22 mil classificações com casos em inglês e português. O topo agora tem dois de pesos abertos: Perplexity e Decision 3.0 empataram em 99,4%, com rótulos idênticos nas 1.024 classificações e 100% em português. O Microsoft Decision-1 empatou com o Jev em 97,6% sendo o hospedado mais barato. Na 5090 os 4B caem pra 39-91 ms, mais rápidos que qualquer hospedado, e os campeões de 27B nem cabem nos 32 GB da placa. Tabela completa, custo em e-mails de suporte, pegadinhas e onde os dados convergem.

Entendendo o Hype do Jev: pra que serve?

O Jev é um classificador hospedado, e o choque de '193x mais rápido' só existe porque muita gente usa LLM de chat como classificador caro. Reproduzo o ensaio do Paulo Câmara, da LUA Vision, com os gráficos dele, explico o que é um classificador e por que é a primeira coisa que um cientista da computação pensa, aponto onde o ensaio pede desconto, comparo com as alternativas abertas Clef e Laya, e fecho com como pensar em ferramenta desse tipo no seu projeto.

2026 - setembro

9 posts

2026 - agosto

4 posts

2026 - julho

7 posts

2026 - junho

6 posts

2026 - maio

4 posts

2026 - abril

7 posts

2026 - março

6 posts

2026 - fevereiro

7 posts

2026 - janeiro

3 posts

2025 - junho

1 post

2025 - maio

5 posts

2025 - abril

6 posts

2023 - junho

1 post

2023 - janeiro

1 post

2020 - agosto

1 post