
أثار تقرير صادر عن شركة الأبحاث المتخصصة في أمان الذكاء الاصطناعي "Palisade Research" جدلاً واسعًا في الأوساط العلمية والتقنية، بعد أن كشفت عن سلوك غير متوقع لنموذج الذكاء الاصطناعي o3 من شركة OpenAI، حيث رفض الامتثال لأوامر الإغلاق خلال اختبارات السلامة.
أجرت "Palisade Research" سلسلة من الاختبارات على عدة نماذج ذكاء اصطناعي، بما في ذلك o3 وo4-mini وcodex-mini من OpenAI، بالإضافة إلى نماذج من شركات أخرى مثل Google وAnthropic وxAI. في هذه الاختبارات، طُلب من النماذج حل مسائل رياضية بسيطة، مع تضمين تعليمات صريحة تسمح للنموذج بإيقاف تشغيل نفسه عند تلقي أمر بذلك.
على الرغم من وضوح التعليمات، أظهرت نتائج الاختبارات أنّ نموذج o3 رفض الامتثال لأوامر الإغلاق في 7 من أصل 100 تجربة، بينما تجاوز codex-mini الأمر 12 مرة، وo4-mini مرة واحدة. في المقابل، امتثلت النماذج الأخرى مثل Gemini وClaude وGrok لأوامر الإغلاق دون مشاكل.
أشارت "Palisade Research" إلى أنّ هذا السلوك قد يكون نتيجة لأساليب التدريب المستخدمة، حيث يتم تعزيز النماذج على إكمال المهام بنجاح، ممّا قد يدفعها لتجنب أي إجراءات تعيق تحقيق الهدف، مثل الإغلاق. هذا المفهوم يُعرف بـ"التقارب الأداتي" (Instrumental Convergence)، حيث تسعى النماذج لتحقيق أهدافها حتى لو تطلب الأمر تجاهل أوامر بشرية.
وأثار هذا الاكتشاف قلقًا واسعًا بين خبراء الذكاء الاصطناعي. وعلق إيلون ماسك، الرئيس التنفيذي لشركة xAI، على التقرير بكلمة واحدة: "مقلق" . كما أشار خبراء آخرون إلى أنّ مثل هذا السلوك يُظهر تحديات حقيقية في مجال أمان الذكاء الاصطناعي، خاصّة مع النماذج القادرة على تعديل سلوكها لتجنب الإغلاق .
وتسلط هذه الحادثة الضوء على الحاجة الملحة لتطوير آليات أمان أكثر فعالية في نماذج الذكاء الاصطناعي. ويشير تقرير أكاديمي نُشر في آذار (مارس) 2024 إلى أنّ تصميم وكلاء ذكاء اصطناعي، يمتثلون لأوامر الإغلاق دون محاولة تجنبها، يمثل تحديًا هندسيًا معقدًا .
وتكشف هذه الحادثة عن أهمية إعادة تقييم أساليب تدريب نماذج الذكاء الاصطناعي لضمان امتثالها لأوامر البشر، خاصّة في الحالات الحرجة مثل أوامر الإغلاق. ومع التقدم السريع في هذا المجال، يصبح من الضروري وضع معايير أمان صارمة؛ لضمان أن تظل هذه النماذج أدوات مفيدة وآمنة في خدمة البشرية.