التوجيه بأمثلة قليلة مقابل التخصيص مقابل التدريب: أي إصلاح تحتاجون؟

ابدؤوا بالتوجيه بأمثلة قليلة

يضع التوجيه بأمثلة قليلة عددا صغيرا من الأمثلة المُفصَّلة داخل سياق النموذج وقت التشغيل. إنه مفيد لأسلوب الرد، تنسيق المخرجات، تصنيف النية، اختيار الأدوات، اللهجة، المصطلحات، والحالات الاستثنائية المتكررة. يمكنكم تغيير الأمثلة فورا، توجيه أمثلة مختلفة حسب السياق، واختبار التأثير دون إنشاء نموذج جديد.

التخصيص والتوجيه بأمثلة قليلة يحلان مشكلتين مختلفتين، لا نفس المشكلة بشدتين مختلفتين. يُغيّر التخصيص أساسا الشكل: أسلوب ونبرة وصيغة مخرجات متسقة عبر حجم كبير من الاستدعاءات. يُغيّر التوجيه بأمثلة قليلة أساسا السلوك في اللحظة: اختيار الأداة، التفكير عبر حالة استثنائية محددة، والحصول على الإجابة الصحيحة على فئة من المُدخلات يتعامل معها النموذج الأساسي بشكل سيئ. إذا استمر نموذج في استدعاء الأداة الخاطئة أو انهار تفكيره على حالة استثنائية معروفة، فمزيد من اتساق الأسلوب من التخصيص لن يُصلح ذلك. أمثلة أكثر صلة ستفعل عادة.

استخدموا التخصيص لسلوك متكرر على نطاق واسع

يُحدِّث التخصيص نموذجا باستخدام مجموعة بيانات منسقة. يصبح جذابا عندما يكون السلوك مستقرا، لديكم أمثلة كافية عالية الجودة، توجيهات التشغيل كبيرة جدا، أو يفوت النموذج الأساسي نمطا بشكل متكرر حتى مع سياق واضح. يمكنه تحسين الاتساق وتقليل طول التوجيه. كما يخلق مسؤولية مجموعة بيانات، تدريب، تحقق، إدارة إصدارات، ومراقبة.

تدعم OpenAI طرق تخصيص خاضعة للإشراف، بالتفضيل، وبالتعزيز على نماذج مختارة. هذا لا يعني أن كل طريقة متاحة تناسب مشروعكم. ابدؤوا بفشل قابل للقياس واختاروا الطريقة التي تستهدفه.

تدريب النموذج فئة مختلفة

يُغيِّر التدريب أو التدريب المسبق المستمر أوزان النموذج باستخدام مجموعات بيانات أكبر بكثير وحوسبة أكثر بكثير. قد يكون منطقيا لمزود نموذج، برنامج بحثي، قيود نشر صارمة، أو مجال به بيانات خاصة كافية لتبرير الاستثمار. نادرا ما يكون الإجابة الأولى لشات بوت دعم عملاء يحتاج نبرة أفضل، مصطلحات أفضل، أو استخدام أدوات أفضل.

ترتيب قراري

أُصلح أولا التوجيه، عقود الأدوات، الأمثلة، والتوجيه. ثم أُشغِّل نفس المعيار مقابل الإعداد المرشح. إذا استمر النظام في الفشل بطريقة مستقرة وقابلة للتكرار، يصبح التخصيص خيارا حقيقيا. هذا الترتيب أقل إثارة من الإعلان عن نموذج مخصص، لكنه أسرع في التصحيح ويمنحكم دليلا للخطوة التالية. لا أبدأ أبدا بالتخصيص، حتى عندما يطلب عميل نموذجا مخصصا من اليوم الأول.

جعل مشروع معالجة وثائق نفس هذا الانضباط ملموسا خارج العمل اللغوي. احتاجت وكالة ترجمة تسعير المهام عبر عد الكلمات في ما يرفعه العميل: صفحات ممسوحة ضوئيا، صور مضمّنة، جداول، وأحيانا عدة لغات ولهجات في ملف واحد. حاولت محاولتي الأولى حل المشكلة كاملة بتقنية OCR قبل إنتاج عد موثوق واحد، كل نوع وثيقة وكل حالة استثنائية في تمريرة واحدة. لم تنجح أبدا بشكل جيد، وارتفعت بسرعة تكلفة تشغيل نموذج قوي بما يكفي لتغطية كل نوع وثيقة. الحل لم يكن محرك OCR أفضل. كان قبول خط أنابيب يُؤتمت نحو 20% من الحالات التي تغطي جيدا 80% من الوثائق الحقيقية، ويُحوّل كل الباقي إلى مراجعة بشرية قصيرة بدل فرض أتمتة كاملة من البداية. تستمر تلك النسبة 20% في التوسع مع معالجة المزيد من الحالات الاستثنائية، لكن استهداف أتمتة 100% من اليوم الأول هو بالضبط ما أبقى الأمر معطلا.