Como rodar uma IA de 80B no notebook com 32 GB

Você tem 32 GB de RAM e olha pro Qwen de 48 GB como quem olha vitrine. O Janas-LLM (Maurizio Cammalleri / prabanta-dev) entrou no Hacker News nesta onda de outubro com uma promessa concreta: streamar experts MoE direto do NVMe, cachear os que repetem e deixar o modelo maior que a memória responder no notebook.

No laptop do autor (Intel Core Ultra 9 185H, 32 GB, NVMe ~5,7 GB/s, Debian 13), o Qwen3-Next-80B-A3B (48,4 GB) gerou a 24 tok/s sem drafts e 37 tok/s com drafts; leitura de prompt a 62 tok/s. No mesmo setup, llama.cpp ficou em 2,8 tok/s gerando e 16 lendo (com build sem repack + mmap). A release v2026.10.12.1 traz binários Linux e Windows.

Se você acompanhou PhotoCraft e WordCraft pela fome de ferramenta open source útil, Janas é a versão “infra local de IA”: menos glamour de UI, mais tokens por segundo no ferro que você já tem.

Como funciona (sem romance)

MoE não ativa todos os parâmetros o tempo todo. Janas aproveita isso: pesos ficam no disco; a cada token, os experts necessários sobem via O_DIRECT + io_uring (fora do page cache); os reutilizados ficam num cache em RAM (no 80B, ~19 GB no teste do autor). Prefill pode ir pra GPU integrada via Vulkan. Threading e uso de GPU o engine mede sozinho.

Licença GPL-3.0-or-later. Modelos convertidos em formato .jns v2 no Hugging Face sob prabanta-dev. Há janas-chat, janas-get, API HTTP estilo OpenAI, MCP e CLI de bench. Escrita em C “sem dependência além da libc”.

Asterisco em negrito no README: experimento, não produto. API e CLI mudam sem aviso. Desenvolvido e medido em uma máquina. Pode empurrar o desktop pra swap, e GPU já causou driver reset uma vez. Trate como alpha agressivo.

Reação da comunidade

No thread do HN (195 pontos), dofm celebrou a normalização de tooling open weights (“basicamente um tropo agora, e isso me dá esperança”). Outros apontaram que stream-from-SSD já virou família (Strata, DwarfStar, forks), e que o gargalo real é hardware e algoritmo de cache. skeledrew disse que o melhor que conseguia era ~8 tok/s com Qwen 35B A3B em 32 GB e viu Janas como possível game changer. sheepscreek brincou preocupado com desgaste de SSD caro; unrented7977 rebateu que leitura de SSD “é de graça” no sentido de wear vs escrita.

Há ceticismo saudável: “zoomers descobriram swap?”, comparação com llama.cpp em condições diferentes, e pedido de suporte a modelos mais novos. O autor publica números com método e pede janas-bench de outras máquinas (AMD, sem AVX-VNNI, GPU discreta, 16 GB). Isso é sinal bom: não vende milagre universal.

Por que importa pra você

Assinatura de API sobe, GPU nova está cara e o notebook de trabalho já está pago. Se MoE grande roda de verdade no NVMe que você já tem, muda a conta de “local vs nuvem” pra chat, resumo e agente leve. Não substitui cluster. Substitui a desculpa de que 80B é só pra quem tem 2x A6000.

Opinião NM: a onda de engines especializados (Janas, Strata, etc.) é o lado saudável do “vibe coding” de infra. Llama.cpp generalista demora a absorver truque; fork focado em uma arquitetura entrega número. Use, meça no seu ferro, reporte. Desconfie de qualquer captura de tela sem janas-bench.

No Brasil, quem tem NVMe decente e 32 GB (comum em notebook gamer/ultrabook recente) ganha um laboratório caseiro. Quem tem HDD ou 8 GB: nem tente, o README é claro.

Como baixar e testar

Fonte oficial: GitHub Releases (latest). Confira o .sha256.

1. Linux x86-64 (Ubuntu 22.04+ / Debian 12+): curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz → tar xf ... && cd janas && ./janas-chat.
2. Windows 10/11 x86-64: baixe janas-windows-x86_64.zip, extraia, rode .\janas-chat no terminal.
3. No chat, escolha um modelo conhecido; o app baixa e verifica do Hugging Face.
4. Pra medir: use janas-bench com a máquina ociosa (browser e editor fechados no primeiro teste).
5. Se apertar memória: --cache <GiB>. Pra tirar GPU: JANAS_GPU=0.

Requisitos: NVMe rápido ajuda muito; 32 GB é o cenário do autor pro 80B; CPU x86-64. Cuidados: não baixe espelho fora do GitHub; espere swap e lentidão se rodar com tudo aberto; não use pra carga crítica sem backup do session; leia o aviso de experimental no README.

Docs e wiki do repo cobrem conversão GGUF→JNS, MCP e hardware. Se o seu AMD ou notebook de 16 GB sobreviver, mande o bench: é exatamente o que o projeto pede.

Quem já briga com quantização e offload no dia a dia vai reconhecer o truque: o ganho não é magia, é recusar carregar expert morto na RAM. A diferença é o engine ter nascido em volta disso, em vez de remendar mmap genérico.

O que fazer agora

Baixe o tarball, rode um modelo pequeno primeiro (Qwen3.5-2B / 4B), depois escalone. Compare com o llama.cpp que você já usa no mesmo prompt. Se Janas ganhar de lavada no MoE grande e empatar no dense, você ganhou uma ferramenta. Se travar o Plasma/Windows, feche com Ctrl-C / Ctrl-D e reduza cache.

Local AI deixou de ser só “7B no Ryzen”. Engines que respeitam a física do SSD estão virando o atalho pra quem não vai comprar H100. Janas é barulhento, avisado e mensurável. Do jeito que geek gosta.

Imagem: preview social do repositório prabanta-dev/janas no GitHub, via GitHub

Recomendados pra você

GuiaREA: como testar a IA que desmonta qualquer programaO REA liga Claude Code, Codex e Cursor a Ghidra, Hopper e IDA pra entender apps sem código-fonte. Passou de 128 mil estrelas no GitHub. Veja como funciona, os riscos legais e como testar.GuiaPhotoCraft: o clone grátis do Photoshop feito com IA já substitui a Adobe?O PhotoCraft é um clone open source do Photoshop em Rust feito com IA. Veja o que já funciona, o que falta, como instalar e se dá pra cancelar a Adobe.GuiaLibreboot 26.10: como baixar e instalar com cuidadoLibreboot 26.10 Ominous Olive saiu com EDK2 UEFI como padrão, suporte a Windows, 233 Chromebooks importados do MrChromebox e política anti-IA no build. O que muda e como baixar sem brickar a máquina.GuiaWordCraft: o Word grátis e open source feito em RustDepois do PhotoCraft, o time ArtCraft soltou o WordCraft: processador de texto open source em Rust com ribbon, .docx e build no navegador. Veja como baixar e o que já funciona.