أسقط أندريه كارباثي للتو واحدة من أكثر المستودعات "غير المضطربة" التي كتبها على الإطلاق - NanoChat.
إنه نظام يشبه ChatGPT من الصفر ولكنه كامل يعلمك كيفية تدريب وتشغيل LLM الخاص بك بأقل من 100 دولار.
مع ~ 8 آلاف سطر فقط من التعليمات البرمجية النظيفة ، فإنه يغطي كل شيء ، الرمز المميز (المستند إلى الصدأ) ، والتدريب المسبق على FineWeb ، ومنتصف القطار على SmolTalk ، و SFT على MMLU / GSM8K / HumanEval ، و RL الاختياري عبر GRPO ، والاستدلال الفعال مع ذاكرة التخزين المؤقت KV + التعبئة المسبقة / فك التشفير ، و WebUI على غرار ChatGPT. (1 / ن)
متحمس لإصدار مستودع جديد: nanochat!
(إنها من بين أكثر الأشياء اضطرابا التي كتبتها).
على عكس repo nanoGPT المماثل السابق الذي غطى التدريب المسبق فقط ، فإن nanochat هو الحد الأدنى من خط أنابيب التدريب / الاستدلال الكامل ، من البداية ، لاستنساخ ChatGPT بسيط في قاعدة بيانات واحدة ذات الحد الأدنى من التبعية. يمكنك تشغيل صندوق GPU السحابي ، وتشغيل برنامج نصي واحد ، وفي أقل من 4 ساعات بعد ذلك ، يمكنك التحدث إلى LLM الخاص بك في واجهة مستخدم ويب تشبه ChatGPT.
يزن ~ 8,000 سطر من التعليمات البرمجية النظيفة تماما من أجل:
- تدريب الرمز المميز باستخدام تطبيق Rust جديد
- قم بتدريب مسبق على محول LLM على FineWeb ، وقم بتقييم درجة CORE عبر عدد من المقاييس
- تدريب منتصف على محادثات مساعد المستخدم من SmolTalk ، وأسئلة الاختيار من متعدد ، واستخدام الأداة.
- SFT ، تقييم نموذج الدردشة على المعرفة العالمية الاختيار من متعدد (ARC-E / C ، MMLU) ، الرياضيات (GSM8K) ، الكود (HumanEval)
- RL النموذج اختياريا على GSM8K مع "GRPO"
- الاستدلال الفعال على النموذج في محرك مع ذاكرة تخزين مؤقت KV ، وملء / فك تشفير بسيط ، واستخدام أداة (مترجم Python في وضع الحماية خفيف الوزن) ، والتحدث معه عبر CLI أو WebUI الشبيه ب ChatGPT.
- اكتب بطاقة تقرير واحدة لخفض السعر ، وتلخيص ولعب كل شيء.
حتى مقابل تكلفة منخفضة تصل إلى ~ 100 دولار (~ 4 ساعات على عقدة 8XH100) ، يمكنك تدريب استنساخ ChatGPT صغير يمكنك التحدث إليه نوعا ما ، والذي يمكنه كتابة القصص / القصائد والإجابة على أسئلة بسيطة. حوالي ~ 12 ساعة تتجاوز مقياس GPT-2 CORE. مع تقدمك نحو ~ 1000 دولار (~ 41.6 ساعة من التدريب) ، سرعان ما يصبح أكثر تماسكا ويمكنه حل مشكلات الرياضيات / التعليمات البرمجية البسيطة وإجراء اختبارات الاختيار من متعدد. على سبيل المثال ، نموذج عمق 30 تم تدريبه لمدة 24 ساعة (هذا يساوي تقريبا FLOPs من GPT-3 Small 125M و 1/1000 من GPT-3) يدخل في 40 ثانية على MMLU و 70 ثانية على ARC-Easy ، و 20 ثانية على GSM8K ، إلخ.
هدفي هو الحصول على مكدس "خط الأساس القوي" الكامل في مستودع واحد متماسك ، بسيط ، قابل للقراءة ، قابل للاختراق ، قابل للتشعب إلى أقصى حد. سيكون nanochat هو مشروع تتويج LLM101n (الذي لا يزال قيد التطوير). أعتقد أن لديها أيضا القدرة على النمو لتصبح تسخير بحثي ، أو معيارا ، مشابها ل nanoGPT قبله. لم يتم الانتهاء منه أو ضبطه أو تحسينه بأي حال من الأحوال (في الواقع أعتقد أنه من المحتمل أن يكون هناك قدر كبير من الفاكهة المعلقة) ، لكنني أعتقد أنه في مكان يكون فيه الهيكل العظمي العام على ما يرام بما يكفي بحيث يمكن أن يرتفع على GitHub حيث يمكن تحسين جميع أجزائه.
يوجد رابط إلى الريبو وإرشادات تفصيلية لتشغيل nanochat السريع في الرد.
يمكنك تدوير وحدة معالجة الرسومات وتشغيل البرنامج النصي ودردشة روبوت الدردشة الخاص بك في ~ 4 ساعات.
يقول كارباثي إن النموذج الذي تبلغ تكلفته 100 دولار يمكنه بالفعل كتابة القصائد والقصص وتجاوز GPT-2 على CORE. 1000 دولار يجعلها قريبة من GPT-3 Small 125M FLOPs مع 40 + MMLU و 70 + ARC-Easy.
الهدف هو مستودع موحد وقابل للقراءة وقابل للاختراق يجمع "خط الأنابيب الأساسي القوي" الكامل: خليفة ل nanoGPT والعمود الفقري لدورة LLM101n القادمة.
حتى مع وجود ميزانية صغيرة ، فإن النتائج مفاجئة.
• تشغيل 100 دولار (8×H100 ، 4 ساعات): يتفوق على GPT-2 على CORE ، يمكنه كتابة القصائد والقصص القصيرة.
• تشغيل 1000 دولار (≈24 ساعة ، GPT-3 صغير 125 م FLOPs ، مقياس 1/1000):
- MMLU 40 +
- ARC-Easy 70 +
- جي إس إم 8 ك 20 +
إنه خط أنابيب صغير حقيقي من فئة البحث.
عندما سأل أحدهم عما إذا كان يمكن استخدام NanoChat لتدريب ماجستير في القانون الشخصي (على ملاحظات الفكرة ، والبيانات الصحية ، وما إلى ذلك) ، سكب كارباثي الماء البارد على الفكرة:
"هذا ليس ريبو جيدا لذلك ... فكر في هذه النماذج الدقيقة كأطفال صغار جدا. إنهم يفتقرون إلى الذكاء الخام لأبناء عمومتهم الأكبر سنا ".
إذا قمت بضبطها على البيانات الشخصية ، فقد تحصل على "ببغاء لطيف" يقلد أسلوبك في الكتابة ، لكنه سيظل منحرا. 🪿
لماذا التخصيص صعب
لإنشاء نموذج مخصص حقا ، ستحتاج إلى:
• إعداد بيانات أساسية عالية الجودة
• إنشاء الكثير من البيانات التركيبية (معقدة + متنوعة)
• ضبط دقيق على LLM مفتوح قوي (مثل Tinker)
• ربما مزج بيانات كبيرة قبل التدريب للاحتفاظ بالذكاء العام
لا تزال هذه منطقة بحثية اليوم ، وليست مشروعا في عطلة نهاية الأسبوع.
صورة أكبر
يرى Karpathy أن NanoChat هو nanoGPT الجديد -
إطار عمل بسيط ولكنه كامل يمكن أن ينمو ليصبح خط أساس قياسي لأبحاث ماجستير القانون والتعاون المجتمعي والتعليم.
في الوقت الحالي ، لم يتم تحسينها بالكامل ، ولكن البنية صلبة - جاهزة للمساهمين في GitHub لدفعها إلى الأمام ، وحدة تلو الأخرى.
3.95 ألف
15
المحتوى الوارد في هذه الصفحة مُقدَّم من أطراف ثالثة. وما لم يُذكَر خلاف ذلك، فإن OKX ليست مُؤلِّفة المقالة (المقالات) المذكورة ولا تُطالِب بأي حقوق نشر وتأليف للمواد. المحتوى مٌقدَّم لأغراض إعلامية ولا يُمثِّل آراء OKX، وليس الغرض منه أن يكون تأييدًا من أي نوع، ولا يجب اعتباره مشورة استثمارية أو التماسًا لشراء الأصول الرقمية أو بيعها. إلى الحد الذي يُستخدَم فيه الذكاء الاصطناعي التوليدي لتقديم مُلخصَّات أو معلومات أخرى، قد يكون هذا المحتوى الناتج عن الذكاء الاصطناعي غير دقيق أو غير مُتسِق. من فضلك اقرأ المقالة ذات الصِلة بهذا الشأن لمزيدٍ من التفاصيل والمعلومات. OKX ليست مسؤولة عن المحتوى الوارد في مواقع الأطراف الثالثة. والاحتفاظ بالأصول الرقمية، بما في ذلك العملات المستقرة ورموز NFT، فيه درجة عالية من المخاطر وهو عُرضة للتقلُّب الشديد. وعليك التفكير جيِّدًا فيما إذا كان تداوُل الأصول الرقمية أو الاحتفاظ بها مناسبًا لك في ظل ظروفك المالية.