Andrej Karpathy pudotti juuri yhden "järkyttyneimmistä" repoista, joita hän on koskaan kirjoittanut - NanoChatin.
Se on tyhjästä, minimaalinen mutta täydellinen ChatGPT:n kaltainen järjestelmä, joka opettaa sinua kouluttamaan ja suorittamaan omaa LLM:ääsi alle 100 dollarilla.
Vain ~8 tuhatta riviä puhdasta koodia se kattaa kaiken, tokenisaattorin (Rust-pohjainen), esikoulutuksen FineWebissä, SmolTalkin harjoituksen puolivälissä, SFT:n MMLU / GSM8K:ssa / HumanEvalissa, valinnaisen RL:n GRPO:n kautta, tehokkaan päättelyn KV-välimuistilla + esitäyttö/dekoodaus ja ChatGPT-tyylinen WebUI. (1/n)
Innoissani voidessani julkaista uuden repon: nanochat!
(se on yksi järkyttävimmistä, mitä olen kirjoittanut).
Toisin kuin aikaisempi vastaava repo nanoGPT, joka kattoi vain esikoulutuksen, nanochat on minimaalinen, tyhjästä, täyden pinon koulutus-/päättelyputki yksinkertaisesta ChatGPT-kloonista yhdessä, riippuvuusminimaalisessa koodikannassa. Käynnistät pilvi-GPU-laatikon, suoritat yhden komentosarjan ja jopa 4 tunnin kuluttua voit puhua omalle LLM:llesi ChatGPT:n kaltaisessa verkkokäyttöliittymässä.
Se painaa ~8 000 riviä imo melko puhdasta koodia:
- Kouluta tokenisaattori uudella Rust-toteutuksella
- Esikouluta Transformer LLM FineWebissä, arvioi CORE-pisteitä useilla mittareilla
- SmolTalkin käyttäjä-avustajakeskustelujen keskikoulutus, monivalintakysymykset, työkalujen käyttö.
- SFT, arvioi chat-mallia maailmantiedon monivalintaratkaisulla (ARC-E/C, MMLU), matematiikalla (GSM8K), koodilla (HumanEval)
- RL malli valinnaisesti GSM8K:lla "GRPO"
- Päättele malli tehokkaasti moottorissa, jossa on KV-välimuisti, yksinkertainen esitäyttö/dekoodaus, työkalun käyttö (Python-tulkki kevyessä hiekkalaatikossa), keskustele sen kanssa CLI:n tai ChatGPT:n kaltaisen WebUI:n kautta.
- Kirjoita yksi merkintäraporttikortti, jossa tehdään yhteenveto ja pelillistetään koko asia.
Jopa niinkin alhaisella hinnalla kuin ~100 dollaria (~4 tuntia 8XH100-solmulla) voit kouluttaa pienen ChatGPT-kloonin, jonka kanssa voit tavallaan puhua ja joka voi kirjoittaa tarinoita/runoja, vastata yksinkertaisiin kysymyksiin. Noin ~12 tuntia ylittää GPT-2 CORE -mittarin. Kun skaalaat edelleen kohti ~1000 dollaria (~41.6 tuntia koulutusta), siitä tulee nopeasti paljon johdonmukaisempi ja se voi ratkaista yksinkertaisia matemaattisia/koodiongelmia ja suorittaa monivalintatestejä. Esimerkiksi 24 tuntia koulutettu syvyysmalli 30 (tämä on suunnilleen yhtä suuri kuin GPT-3 Small 125M:n FLOP:t ja 1/1000 GPT-3:n FLOP:t) menee 40:een MMLU:ssa ja 70:een ARC-Easy:ssä, 20:een GSM8K:ssa jne.
Tavoitteenani on saada koko "vahva perustaso" -pino yhdeksi yhtenäiseksi, minimaaliseksi, luettavaksi, hakkeroitavaksi ja maksimaalisesti haarautuvaksi repoksi. nanochat on LLM101n:n (jota kehitetään edelleen) huippuprojekti. Uskon, että sillä on myös potentiaalia kasvaa tutkimusvaljaiksi tai vertailukohdaksi, joka on samanlainen kuin nanoGPT ennen sitä. Se ei ole missään nimessä valmis, viritetty tai optimoitu (itse asiassa luulen, että siinä on todennäköisesti melko vähän matalalla roikkuvia hedelmiä), mutta mielestäni se on paikassa, jossa yleinen luuranko on tarpeeksi ok, jotta se voi nousta GitHubiin, jossa sen kaikkia osia voidaan parantaa.
Linkki repoon ja yksityiskohtainen esittely nanochat speedrunista on vastauksessa.
Voit käynnistää GPU:n, suorittaa skriptin ja saada oman chatbotin keskustelemaan ~4 tunnissa.
Karpathy sanoo, että 100 dollarin malli voi jo kirjoittaa runoja ja tarinoita ja ylittää GPT-2:n CORE:ssa; 1000 dollaria tuo sen lähelle GPT-3:n pieniä 125 miljoonan floppeja 40 + MMLU- ja 70 + ARC-Easy pisteillä.
Tavoitteena on yhtenäinen, luettava, hakkeroitava säilö, joka niputtaa koko "vahvan perustason putken": nanoGPT:n seuraaja ja hänen tulevan LLM101n-kurssinsa selkäranka.
Pienelläkin budjetilla tulokset ovat yllättäviä.
• 100 dollarin juoksu (8×H100, 4 tuntia): voittaa GPT-2:n CORE:lla, osaa kirjoittaa runoja ja novelleja.
• 1000 dollarin juoksu (≈24 tuntia, GPT-3 pienet 125 miljoonan flopit, asteikko 1/1000):
– MMLU 40 +
– ARC-Easy 70+
– GSM8K 20 +
Se on aito tutkimustason miniputki.
Kun joku kysyi, voisiko NanoChatia käyttää henkilökohtaisen LLM:n kouluttamiseen (Notion-muistiinpanoista, terveystiedoista jne.), Karpathy kaatoi kylmää vettä ajatukselle:
"Tämä ei ole hyvä repo siihen... Ajattele näitä mikromalleja hyvin pieninä lapsina; heiltä puuttuu suurempien serkkujensa raaka älykkyys."
Jos hienosäädät niitä henkilökohtaisten tietojen perusteella, saatat saada "söpöä papukaijaa", joka jäljittelee kirjoitustyyliäsi, mutta se on silti räikeää. 🪿
Miksi personointi on vaikeaa
Jotta voit rakentaa aidosti personoidun mallin, sinun on
• Laadukkaan pohjatiedon laatiminen
• Luo tonnia synteettistä dataa (monimutkainen + monipuolinen)
• Hienosäädä vahvalla avoimella LLM:llä (esim.
• Sekoita mahdollisesti suuria koulutusta edeltäviä tietoja yleisen älykkyyden säilyttämiseksi
Se on edelleen tutkimustason aluetta, ei viikonloppuprojekti.
Isompi kuva
Karpathy näkee NanoChatin uutena nanoGPT:nä-
minimaalinen mutta täydellinen kehys, joka voi kasvaa LLM-tutkimuksen, yhteisöyhteistyön ja koulutuksen vakioperustasoksi.
Tällä hetkellä sitä ei ole täysin optimoitu, mutta arkkitehtuuri on vankka – valmiina GitHub-avustajille työntämään sitä eteenpäin moduuli moduulilta.
4,68 t.
15
Tällä sivulla näytettävä sisältö on kolmansien osapuolten tarjoamaa. Ellei toisin mainita, OKX ei ole lainatun artikkelin / lainattujen artikkelien kirjoittaja, eikä OKX väitä olevansa materiaalin tekijänoikeuksien haltija. Sisältö on tarkoitettu vain tiedoksi, eikä se edusta OKX:n näkemyksiä. Sitä ei ole tarkoitettu minkäänlaiseksi suositukseksi, eikä sitä tule pitää sijoitusneuvontana tai kehotuksena ostaa tai myydä digitaalisia varoja. Siltä osin kuin yhteenvetojen tai muiden tietojen tuottamiseen käytetään generatiivista tekoälyä, tällainen tekoälyn tuottama sisältö voi olla epätarkkaa tai epäjohdonmukaista. Lue aiheesta lisätietoa linkitetystä artikkelista. OKX ei ole vastuussa kolmansien osapuolten sivustojen sisällöstä. Digitaalisten varojen, kuten vakaakolikoiden ja NFT:iden, omistukseen liittyy suuri riski, ja niiden arvo voi vaihdella merkittävästi. Sinun tulee huolellisesti harkita, sopiiko digitaalisten varojen treidaus tai omistus sinulle taloudellisessa tilanteessasi.