Andrej Karpathy acaba de lançar um dos repositórios mais "descontrolados" que já escreveu — NanoChat.
É um sistema semelhante ao ChatGPT, minimalista mas completo, que ensina como treinar e executar o seu próprio LLM por menos de $100.
Com apenas ~8 k linhas de código limpo, cobre tudo, desde o tokenizer (baseado em Rust), pré-treinamento no FineWeb, treinamento intermediário no SmolTalk, SFT no MMLU / GSM8K / HumanEval, RL opcional via GRPO, inferência eficiente com cache KV + pré-preenchimento/decodificação, e uma WebUI estilo ChatGPT. (1/n)
Empolgado para lançar um novo repositório: nanochat!
(é um dos mais insanos que escrevi).
Ao contrário do meu repositório anterior, nanoGPT, que apenas cobria o pré-treinamento, o nanochat é um pipeline de treinamento/inferência completo, minimalista e do zero de um simples clone do ChatGPT em uma única base de código com dependências mínimas. Você inicia uma caixa de GPU na nuvem, executa um único script e, em apenas 4 horas, pode conversar com seu próprio LLM em uma interface web semelhante ao ChatGPT.
Ele pesa cerca de 8.000 linhas de código que considero bastante limpo para:
- Treinar o tokenizador usando uma nova implementação em Rust
- Pré-treinar um LLM Transformer no FineWeb, avaliar a pontuação CORE em várias métricas
- Treinamento intermediário em conversas usuário-assistente do SmolTalk, perguntas de múltipla escolha, uso de ferramentas.
- SFT, avaliar o modelo de chat em conhecimento geral de múltipla escolha (ARC-E/C, MMLU), matemática (GSM8K), código (HumanEval)
- RL no modelo opcionalmente no GSM8K com "GRPO"
- Inferência eficiente do modelo em um Engine com cache KV, pré-preenchimento/decode simples, uso de ferramentas (interpretador Python em um sandbox leve), converse com ele via CLI ou WebUI semelhante ao ChatGPT.
- Escrever um único relatório em markdown, resumindo e gamificando tudo isso.
Mesmo por apenas ~$100 de custo (~4 horas em um nó 8XH100), você pode treinar um pequeno clone do ChatGPT com o qual pode conversar, e que pode escrever histórias/poemas, responder a perguntas simples. Cerca de ~12 horas superam a métrica CORE do GPT-2. À medida que você escala para ~$1000 (~41,6 horas de treinamento), ele rapidamente se torna muito mais coerente e pode resolver problemas simples de matemática/código e fazer testes de múltipla escolha. Por exemplo, um modelo de profundidade 30 treinado por 24 horas (isso é aproximadamente igual ao FLOPs do GPT-3 Small 125M e 1/1000 do GPT-3) alcança 40s no MMLU e 70s no ARC-Fácil, 20s no GSM8K, etc.
Meu objetivo é reunir toda a pilha "strong baseline" em um repositório coeso, minimalista, legível, hackável e maximamente forkable. O nanochat será o projeto culminante do LLM101n (que ainda está em desenvolvimento). Acho que também tem potencial para crescer em um suporte de pesquisa ou um benchmark, semelhante ao nanoGPT antes dele. Não está de forma alguma finalizado, ajustado ou otimizado (na verdade, acho que há bastante potencial a ser explorado), mas acredito que está em um ponto onde o esqueleto geral é bom o suficiente para ser colocado no GitHub, onde todas as partes podem ser melhoradas.
O link para o repositório e um walkthrough detalhado do speedrun do nanochat estão na resposta.
Você pode ativar uma GPU, executar o script e ter seu próprio chatbot conversando em cerca de 4 horas.
Karpathy diz que o modelo de $100 já pode escrever poemas e histórias e superar o GPT-2 no CORE; $1000 o aproxima do GPT-3 Small 125M FLOPs com 40 + MMLU e 70 + ARC-Easy scores.
O objetivo é um repositório unificado, legível e hackável que agrupe o "pipeline de baseline forte" completo: um sucessor do nanoGPT e a espinha dorsal do seu próximo curso LLM101n.
Mesmo com um orçamento pequeno, os resultados são surpreendentes.
• Execução de $100 (8×H100, 4 horas): supera o GPT-2 no CORE, consegue escrever poemas e contos.
• Execução de $1000 (≈24 horas, GPT-3 Small 125 M FLOPs, escala 1/1000):
– MMLU 40 +
– ARC-Easy 70 +
– GSM8K 20 +
es uma verdadeira mini-pipeline de grau de pesquisa.
Quando alguém perguntou se o NanoChat poderia ser usado para treinar um LLM pessoal (com notas do Notion, dados de saúde, etc.), Karpathy desfez a ideia:
"Este não é um bom repositório para isso... Pense nestes micro-modelos como crianças muito pequenas; eles carecem da inteligência bruta de seus primos maiores."
Se você os ajustar com dados pessoais, pode obter um "papagaio fofo" que imita seu estilo de escrita, mas ainda será uma bagunça. 🪿
Por que a personalização é difícil
Para construir um modelo genuinamente personalizado, você precisaria:
• Preparar dados base de alta qualidade
• Gerar uma tonelada de dados sintéticos (complexos + diversos)
• Ajustar em um LLM aberto forte (por exemplo, Tinker)
• Possivelmente misturar grandes dados de pré-treinamento para manter a inteligência geral
Isso ainda é território de pesquisa hoje, não um projeto de fim de semana.
Visão geral
Karpathy vê o NanoChat como o novo nanoGPT—
um framework minimalista, mas completo, que pode crescer para se tornar uma linha de base padrão para pesquisa em LLM, colaboração comunitária e educação.
Neste momento, não está totalmente otimizado, mas a arquitetura é sólida—pronta para que os colaboradores do GitHub a impulsionem, módulo por módulo.
4,69 mil
15
O conteúdo apresentado nesta página é fornecido por terceiros. Salvo indicação em contrário, a OKX não é o autor dos artigos citados e não reivindica quaisquer direitos de autor nos materiais. O conteúdo é fornecido apenas para fins informativos e não representa a opinião da OKX. Não se destina a ser um endosso de qualquer tipo e não deve ser considerado conselho de investimento ou uma solicitação para comprar ou vender ativos digitais. Na medida em que a IA generativa é utilizada para fornecer resumos ou outras informações, esse mesmo conteúdo gerado por IA pode ser impreciso ou inconsistente. Leia o artigo associado para obter mais detalhes e informações. A OKX não é responsável pelo conteúdo apresentado nos sites de terceiros. As detenções de ativos digitais, incluindo criptomoedas estáveis e NFTs, envolvem um nível de risco elevado e podem sofrer grandes flutuações. Deve considerar cuidadosamente se o trading ou a detenção de ativos digitais é adequado para si à luz da sua condição financeira.