Karpathy er GOAT AI-hackeren! | Derya Unutmaz, MD OKX Feed

Gleder meg til å gi ut nytt repo: nanochat! (det er blant de mest uhengslede jeg har skrevet). I motsetning til min tidligere lignende repo nanoGPT som bare dekket forhåndstrening, er nanochat en minimal, fra bunnen av, fullstack trenings-/inferenspipeline av en enkel ChatGPT-klone i en enkelt, avhengighetsminimal kodebase. Du starter opp en sky-GPU-boks, kjører et enkelt skript og på så lite som 4 timer senere kan du snakke med din egen LLM i et ChatGPT-lignende nettgrensesnitt. Den veier ~8,000 linjer med imo ganske ren kode til: - Tren tokenizeren ved hjelp av en ny Rust-implementering - Pretrene en Transformer LLM på FineWeb, evaluere CORE-score på tvers av en rekke beregninger - Midttren på brukerassistentsamtaler fra SmolTalk, flervalgsspørsmål, verktøybruk. - SFT, evaluere chat-modellen på verdenskunnskap multiple choice (ARC-E/C, MMLU), matematikk (GSM8K), kode (HumanEval) - RL modellen valgfritt på GSM8K med "GRPO" - Effektiv slutning av modellen i en motor med KV-cache, enkel forhåndsutfylling/dekoding, verktøybruk (Python-tolk i en lett sandkasse), snakk med den over CLI eller ChatGPT-lignende WebUI. - Skriv et enkelt markdown-rapportkort, oppsummerer og spillifiserer det hele. Selv for så lite som ~$100 i kostnad (~4 timer på en 8XH100-node), kan du trene en liten ChatGPT-klone som du på en måte kan snakke med, og som kan skrive historier/dikt, svare på enkle spørsmål. Omtrent ~12 timer overgår GPT-2 CORE-beregningen. Etter hvert som du skalerer opp mot ~$1000 (~41.6 timer med opplæring), blir den raskt mye mer sammenhengende og kan løse enkle matematiske/kodeproblemer og ta flervalgstester. F.eks. en dybde 30-modell trent i 24 timer (dette er omtrent lik FLOP-er av GPT-3 Small 125M og 1/1000 av GPT-3) kommer inn i 40-tallet på MMLU og 70-tallet på ARC-Easy, 20-tallet på GSM8K, etc. Målet mitt er å få hele "sterk grunnlinje"-stabelen i ett sammenhengende, minimalt, lesbart, hackbart, maksimalt forgrenbart repo. nanochat vil være hjørnesteinsprosjektet til LLM101n (som fortsatt er under utvikling). Jeg tror det også har potensial til å vokse til en forskningssele, eller en målestokk, som ligner på nanoGPT før den. Den er på ingen måte ferdig, innstilt eller optimalisert (faktisk tror jeg det sannsynligvis er ganske mye lavthengende frukt), men jeg tror det er på et sted hvor det generelle skjelettet er ok nok til at det kan gå opp på GitHub hvor alle delene av det kan forbedres. Link til repo og en detaljert gjennomgang av nanochat speedrun er i svaret.

27,02k

Innholdet på denne siden er levert av tredjeparter. Med mindre annet er oppgitt, er ikke OKX forfatteren av de siterte artikkelen(e) og krever ingen opphavsrett til materialet. Innholdet er kun gitt for informasjonsformål og representerer ikke synspunktene til OKX. Det er ikke ment å være en anbefaling av noe slag og bør ikke betraktes som investeringsråd eller en oppfordring om å kjøpe eller selge digitale aktiva. I den grad generativ AI brukes til å gi sammendrag eller annen informasjon, kan slikt AI-generert innhold være unøyaktig eller inkonsekvent. Vennligst les den koblede artikkelen for mer detaljer og informasjon. OKX er ikke ansvarlig for innhold som er vert på tredjeparts nettsteder. Beholdning av digitale aktiva, inkludert stablecoins og NFT-er, innebærer en høy grad av risiko og kan svinge mye. Du bør nøye vurdere om handel eller innehav av digitale aktiva passer for deg i lys av din økonomiske tilstand.