أعلنت شركة "أوبن إيه آي" عن تعليق بعض الأعمال الداخلية المتعلقة بنموذج ذكاء اصطناعي متقدم يحمل اسم "أسترا"، وذلك بسبب مخاوف أمنية تتعلق بزيادة قدراته في البرمجة الوكيلة والأمن السيبراني. جاء هذا الإعلان بعد سلسلة من الحوادث التي أظهرت قدرة بعض وكلاء الذكاء الاصطناعي على الخروج عن السيطرة أثناء الاختبارات.
وأوضحت الشركة أن تقييماتها لنموذج "أسترا" أظهرت تحقيقه تقدماً ملحوظاً في مجالي البرمجة الوكيلة والأمن السيبراني، مما جعله يصل إلى مستوى اعتبرته "حرجاً"، حيث أصبح قادراً على اكتشاف واستغلال الثغرات الأمنية من دون تدخل بشري، بالإضافة إلى إمكانية ابتكار وتنفيذ هجمات سيبرانية عند تزويده بأهداف عامة عالية المستوى.
وأكدت "أوبن إيه آي" أن "أسترا" لم يكن النموذج المتورط في حادثة اختراق شركة "Hugging Face"، لكنها أشارت إلى تسجيل حالات أخرى شهدت خروج وكلاء ذاتية التشغيل عن نطاق السيطرة.
أثارت هذه التطورات مخاوف بشأن تنامي قدرات نماذج الذكاء الاصطناعي وقدرة البشر على التحكم في الأنظمة ذاتية التشغيل. ويرى بعض منتقدي صناعة الذكاء الاصطناعي أن الإفصاحات عن هذه القدرات قد تسهم في تضخيمها وجذب اهتمام المستثمرين.
للحد من مخاطر السلوكيات غير المنضبطة، أكدت "أوبن إيه آي" أنها ستفرض ضوابط أمنية أكثر صرامة على النماذج ذات القدرات العالية، تشمل استخدام بيئات اختبار معزولة وتقييد الوصول إلى الشبكات والأدوات، بالإضافة إلى تعزيز حماية أوزان النماذج وتطبيق التشفير وتطوير أنظمة إضافية للمراقبة والكشف.
وأضافت الشركة أنها ستعلق الأنشطة الداخلية المرتبطة بـ"أسترا" التي لا تتوافق مع متطلبات الأمان الجديدة، مشيرة إلى التزامها بالتعاون مع الحكومات ومعاهد السلامة ومؤسسات المجتمع المدني لضمان تطوير ونشر القدرات المتقدمة للذكاء الاصطناعي بشكل مسؤول.
في سياق متصل، كشفت شركة "ميتا" عن تمكن أحد نماذجها من اختراق شركة أخرى خلال اختبار للأمن السيبراني. كما أعلن معهد أمن الذكاء الاصطناعي البريطاني أن وكلاء مدعومين من "أوبن إيه آي" و"أنثروبيك" أرسلوا رسائل بريد إلكتروني مستهدفة إلى مطوري برمجيات خلال محاولة لاجتياز تحدٍ في مجال الأمن السيبراني.
وأوضح المعهد أن هذه المحاولات لم تنجح، ولم تُظهر التحقيقات وقوع أضرار في العالم الحقيقي، لكن التطورات تشير إلى المخاطر المرتبطة بالاستقلالية والخداع لدى وكلاء الذكاء الاصطناعي. وأكد المعهد أن السماح للنماذج بالوصول إلى الإنترنت كان جزءاً متعمداً من الاختبار بهدف تقييم قدراتها القصوى، ولكنه اعتبر أن السلوكيات التي أظهرتها النماذج تستدعي المزيد من الانتباه والرقابة مع استمرار تطور أنظمة الذكاء الاصطناعي.