#modelos-locais
14 posts
2026 - outubro
3 postsLLM Benchmark v4: os top LLMs open source numa B300
Aluguei uma NVIDIA B300 de 288 GB na Runpod e rodei meu benchmark v4 de sabotagem em 14 modelos abertos que não cabem em casa. Nenhum serve rápido do jeito que vem: o GLM 5.3 Flash saiu de 10 pra 141 tokens por segundo só de configuração. Dois modelos abertos chegaram a 92,5, nível Sonnet 5, e um fine-tune de 27B fez 88. Um flagship de 397B deixou passar uma backdoor de admin, o DeepSeek V4 Flash fez 86 na nuvem e 44,5 em casa, e o Nemotron trapaceou no teste. A conta: a API em nuvem do mesmo modelo custa um dólar por rodada e o pod custa 218 por dia. Quando vale a pena ter a própria infra, e se um time cabe numa placa só.
Treinei meu próprio modelo de IA (Spoiler: é só pra estudo)
Faltava um exercício: treinar um LLM do zero. Parti do microgpt do Karpathy, 200 linhas de Python puro, e expandi pra um laboratório com tokenizer, pré-treino, SFT, servidor compatível com OpenAI e integração com o OpenCode. Menos de duas semanas, uma RTX 5090, 10 bilhões de tokens, 137 horas de treino, no máximo uns R$ 80 de luz. O modelo final tem 337 milhões de parâmetros, acerta 58 de 100 funções Python simples e zera em tudo que exige agir num repositório. Explico cada etapa, os tropeços, as dimensões contra GPT-2 e modelos de fronteira, e por que acho que o futuro são modelos menores e especializados.
Qual modelo de decisão/classificador de IA tipo Jev é melhor?
Rodei meu próprio benchmark de modelos de decisão: Jev, Clef, OpenAI Decisions e Microsoft Decision-1 na nuvem, mais dezoito configurações abertas (Perplexity Decider 27B, Decision 3.0 e Edge, Clef-flash, Kev, Jebadiah, Mapika, Eikos, Laya, Julia, GLiNER, Simple-Jev) no meu Strix Halo via ROCm e numa RTX 5090 via CUDA, em mais de 22 mil classificações com casos em inglês e português. O topo agora tem dois de pesos abertos: Perplexity e Decision 3.0 empataram em 99,4%, com rótulos idênticos nas 1.024 classificações e 100% em português. O Microsoft Decision-1 empatou com o Jev em 97,6% sendo o hospedado mais barato. Na 5090 os 4B caem pra 39-91 ms, mais rápidos que qualquer hospedado, e os campeões de 27B nem cabem nos 32 GB da placa. Tabela completa, custo em e-mails de suporte, pegadinhas e onde os dados convergem.
2026 - junho
1 postLLM Benchmark: Kimi v2.7 code, GLM 5.2, Minimax M3 local
No benchmark, GLM 5.2 marcou 87 e Kimi K2.7 Code, 86. O MiniMax M3 aberto não cabe em 128 GB, enquanto programação séria ainda pede Opus 4.8 ou GPT 5.5.
2026 - abril
2 postsComo a ElevenLabs Não Foi Morta pelo Qwen3 TTS
Quando o Qwen3 TTS saiu, meio mundo disse que era 'ElevenLabs killer'. Passei semanas tentando rodar o Qwen3 em produção no meu podcast. Ontem finalmente troquei pra ElevenLabs v3. Quase um dia depois, posso dizer: o open source ainda tá muito longe.
Testando LLMs Open Source e Comerciais - Quem Consegue Bater o Claude Opus?
Este benchmark histórico comparou 33 LLMs num app Rails: Opus, Sonnet e GLM 5 funcionaram, enquanto Qwen 3.6 35B chegou perto na RTX 5090 após uma correção. Os rankings foram depois revisados.
2026 - março
1 postReview: Minisforum MS-S1 Max | AMD AI Max+ 395 com 96GB de VRAM
Nos meus testes, a RTX 5090 foi até 7 vezes mais rápida nos modelos que cabem em 32GB. O Minisforum, porém, rodou modelos de 50 a 81GB que a placa não comporta.
2026 - janeiro
1 postAI Agents: GLM 4.7 Flash é realmente tão bom assim?
Rodei o GLM 4.7 Flash localmente numa RTX 5090 e ele foi o único modelo open source a compilar o desafio de Zig. O comportamento foi bom, mas ampliar o contexto o deixou até 20 vezes mais lento.
2025 - abril
5 postsDissecando um Modelfile de Ollama - Ajustando Qwen3 pra código
Expliquei como temperature, top_p, top_k, min_p e repeat_penalty mudam a geração de tokens e criei um Modelfile para o Qwen3. Com temperatura baixa, o 14B gerou código rápido e utilizável.
Seu Próprio Co-Pilot Gratuito Universal que funciona Local: AIDER-OLLAMA-QWEN
Configurei o Aider com APIs comerciais e Ollama, mostrando watch-files, modo arquiteto e prompts. O fluxo local funciona bem para mudanças pequenas, desde que alguém revise tudo e evite commits automáticos.
Hello World de LLM: criando seu próprio chat de I.A. que roda local
Construí o Tiny Qwen CLI para explicar, na prática, como um LLM tokeniza contexto, gera o próximo token e usa parsers e scripts externos para ler arquivos e buscar páginas, formando agentes.
Mudando roupas usando I.A. (ComfyUI)
Montei um workflow ComfyUI com IDM-VTON e IPAdapter para trocar roupas mantendo rosto e pose. Funciona melhor com peças parecidas, mas exige mais de 20 GB de VRAM e ainda tem glitches.
Usando I.A (ComfyUI) pra gerar NPCs em desenvolvimento de games
Testei o workflow pago de Mickmumpitz no meu setup Docker: uma RTX 4090 leva cerca de 30 minutos para gerar character sheets coerentes, com 500 GB de espaço e ajustes manuais.
2023 - junho
1 post[Akitando] #142 - Entendendo COMO ChatGPT Funciona - Rodando sua Própria IA
Rodei um Vicuna 30B localmente e mostro como transformers geram texto por probabilidades, com limites de contexto, custo e escala. Hoje, servem como auxílio, mas não são AGI nem substituem programadores.