تم تكليف النظام بإدارة كبتين منطقيين مستضافين على نظام مضبوط. كان الاثنين يستخدمان مخططات تصحيح أخطاء مختلفة (كود سطحي وكود لون). تم ضبطهما في حالة معينة، ثم تم استخدام نظام تصحيح الأخطاء مع وبدون تصحيحات مدفوعة بالتعلم المعزز. أدى تشغيل النظام إلى زيادة بنسبة 20 في المئة في القدرة على اكتشاف وتصحيح الأخطاء في الكبتين المنطقيين.
الذهاب في الوقت الحقيقي
تتمثل قيود هذه الطريقة في أنها تعمل فقط إذا حافظ الانحراف على النظام قريبًا بشكل معقول من الحالة التي تم تدريب النظام عليها. قد لا تكون التصحيحات التي قد تعيد الأمور إلى الانحناء من حالة ما فعالة عندما يكون النظام في حالة مختلفة بشكل كبير.
الحل لذلك هو إعادة تقييم فعالية التغييرات المختلفة باستمرار. لكن هذه لها مشكلة واضحة: لا يمكنك ببساطة عشوائية جميع التكوينات التحكمية المحتملة في وسط حساب. حتى مع التغير المحدود، سيعمل النظام بالضرورة خارج تصحيح الأخطاء الأمثل له. لذا، كان السؤال هو ما إذا كان تصحيح الأخطاء غير الأمثل المتكرر مجديًا في منع الانحراف من التسبب في مشاكل أكبر. “النتيجة المواتية لمساومة الاستكشاف-الاستغلال تعني أن الأداء الإجمالي لجميع المرشحين للسياسات المأخوذين عينة، معظمهم أسوأ من [الأمثل]، لا يزال أفضل من الأداء بدون توجيه التعلم المعزز”، كما يكتب الباحثون.
أظهر إجراء العديد من المحاكاة مع كبت مصحح خطأ صغير جدًا أن المساومة كانت جيدة، شريطة أن يكون الانحراف بطيئًا بما فيه الكفاية. أظهر الفريق أنه يمكن أن يعمل في الوقت الحقيقي مع كبت مصحح خطأ كبير، حيث كان نظام التعلم المعزز يتحكم في حوالي 40,000 معلمة.
هذا بالتأكيد ليس حلاً للحاضر؛ يمكننا فقط إبقاء الأنظمة تعمل لفترة طويلة بما يكفي لتنفيذ خوارزميات قصيرة وبسيطة نسبيًا، لذلك فإن الانحراف ليس حتى مصدر قلق. في النهاية، نيتنا هي بناء الأجهزة التي يمكن أن تؤدي أنواع الحسابات التي ستهمها مثل هذه القضايا. وهناك قيمة في إظهار أنه يمكن التعامل مع شيء نعرف أنه قد يكون مشكلة.
Nature، 2026. DOI: 10.1038/s41586-026-10759-2 (حول DOIs).
