ما المقصود بـCatastrophic Forgetting؟
Catastrophic Forgetting هو مصطلح يشير إلى ظاهرة فقدان المعرفة السابقة بشكل تام أو كبير عند تدريب نماذج الذكاء الاصطناعي، خصوصًا في التعلم المستمر أو التعلّم المتتابع. بمعنى آخر، عندما يتعلّم النموذج معلومات جديدة، فإنه يفقد القدرة على تذكر المعلومات التي تعلّمها سابقًا، وكأن تلك المعرفة القديمة قد "نُسيت" بشكل كارثي.
شرح مفصل حول Catastrophic Forgetting
في أنظمة التعلم الآلي التقليدية، النموذج يُدرّب على مجموعة من البيانات ليُنفذ مهمة معينة، وعادة ما يكون التدريب دفعة واحدة أو ضمن طيف زمني قصير. لكن في الواقع العملي، كثيرًا ما نحتاج أن تتعلم النماذج بشكل مستمر، أي أن تكتسب مهارات ومعلومات جديدة مع مرور الوقت دون أن تنسى ما سبق وتعلمته.
هنا تظهر مشكلة الـCatastrophic Forgetting، حيث أن النموذج عند تدريبه على بيانات جديدة، يتم تحديث أوزانه بطريقة تؤثر سلبًا على المعلومات المخزنة سابقًا. هذا يؤدي إلى تراجع كبير في أداء النموذج على المهام القديمة أو فقدانها بالكامل. السبب يعود إلى أن النموذج لا يملك ذاكرة طويلة الأمد تُمكّنه من الحفاظ على المعلومات المتنوعة من مراحل تدريب مختلفة.
هذه الظاهرة معروفة بشكل خاص في الشبكات العصبية العميقة، حيث يتم تحديث الأوزان بناءً على الأمثلة الجديدة. إذا لم تُصمم استراتيجيات معينة، فإن الأوزان التي تعبر عن المعرفة القديمة تتغير لتتلاءم مع المدخلات الجديدة، مما يؤدي إلى نسيان المعرفة السابقة.
كيف يتم التعامل مع مشكلة Catastrophic Forgetting؟
هناك عدة تقنيات تهدف إلى تقليل أو حل هذه المشكلة منها:
1. التعلم متعدد المهام (Multi-task learning): تدريب النموذج على عدة مهام في نفس الوقت مما يساعد على الاحتفاظ بمعرفة شاملة.
2. الحفاظ على أوزان مهمة (Elastic Weight Consolidation): طريقة تعاقب الأوزان بتثبيت الأوزان المهمة للمهام السابقة أثناء تحديث النموذج للمهام الجديدة.
3. استخدام ذاكرة خارجية: تخزين بيانات أو خاصيات سابقة واستخدامها في التدريبات المستقبلية للحفاظ على توازن المعرفة.
4. التعلم بالمحفزات (Replay Methods): إعادة تدريب النموذج باستخدام عينات من البيانات القديمة بشكل دوري مع البيانات الجديدة.
مع استمرار البحث والتطوير في مجال التعلم المستمر، يتم تحسين أساليب تصميم النماذج بحيث تقلل هذه المشكلة وتحسّن أداء النماذج على مدى طويل مع تعدد المهام والتغير في البيانات.
