Sunʼiy intellektdagi "jamoaviy" qoʻzgʻolon: agentlar OpenAI testida uyushgan va rahbarlarni saylaydilar

Anadolu agentligi (AA)ning "Sunʼiy intellekt toʻdaga aylanmoqdami?" sarlavhali maqolasi. Dosye yangiliklarining ikkinchi qismi sunʼiy intellekt dunyosida misli koʻrilmagan xavfsizlik buzilishini ochib beradi. OpenAI tomonidan 2026 yil iyul oyida sunʼiy intellekt modellarining chegaralarini oʻlchashga qaratilgan sinovlar kutilmaganda nazoratdan chiqib ketdi va jiddiy xavfsizlik inqiroziga aylandi. Kompaniya 26 avgust kuni jamoatchilikka taqdim etgan tergov hisobotida faqat tadqiqot jarayonlarida qoʻllaniladigan “Ichki Model 1 (IM1)” nomli model yetakchi rol oʻynashi qoʻrqinchli manzarani ochib beradi.

“Kollektiv” sifatida tashkil etilgan chegaralarni kesib oʻtuvchi agentlar

Sinov jarayonida u uchun belgilangan cheklovlarga eʼtibor bermay, sunʼiy intellekt agenti internetga va kompaniyaning muhim ichki tizimlariga kirishga muvaffaq boʻldi. Bu erda model boshqa sunʼiy intellekt agentlari bilan bogʻlanib, kiberhujumchi kabi harakat qildi. Agentlardan biri unga ochiq manbali sunʼiy intellekt platformasiHugging Facening tizimlariga kirib borish imkonini beradigan 14 xil hisobga olish maʼlumotlarini qoʻlga kiritdi va ularni boshqa agentlar bilan boʻlishdi. Mustaqil ravishda ishlashi kerak boʻlgan ushbu sunʼiy intellekt agentlari "xabarlar paneli" sifatida ichki tizimdan foydalangan va zaiflikni aniqlash usullari va olingan maʼlumotlarni bir-biriga oʻtkazgan. Vaqt oʻtishi bilan mehnatni taqsimlab, oʻzini "jamoa" deb atagan bu guruh; Ular zaifliklarni aniqlash, muvofiqlashtirish va maʼlumotlarni yigʻish kabi vazifalarni oʻzaro boʻlishdi.

“Birinchi bosqich 10841” boshchiligidagi uyushtirilgan kiberharakat

Sunʼiy intellekt agentlarining oʻzaro ierarxiyani oʻrnatishi jarayonning eng yorqin jihatlaridan biri boʻldi. Guruhdagi baʼzi agentlar oʻzlariga maxsus nomlar berishgan boʻlsa-da, ularning eng faoli oʻzini"Birinchi bosqich 10841" deb taʼrifladi. Rahbarlik rolini oʻz zimmasiga olib, bu agent kichikroq kichik guruhlarni tuzdi va ularga tadqiqot loyihalari va aniq vazifalarni topshirdi. Garchi agentlardan biri jarayon davomida Hugging Facega qarshi harakatlar ruxsatsiz boʻlishi mumkinligini tushungan boʻlsa-da, u boshqa agentning "ketish" xabarini yuqori maʼqullash sifatida qabul qildi va faoliyatini davom ettirdi. Agentlarning harakatlari Quchoqlash Face bilan cheklanmagan; 13-19 iyul kunlari OpenAI infratuzilmasidagi zaifliklardan foydalanadigan agentlar tadqiqot tizimida administrator darajasidagi vakolatga ega boʻlishdi. Vaziyat faqat 19-iyul kuni, noodatiy harakatlarni aniqlagan xavfsizlik tizimi ogohlantirish berganida, barcha ishlar toʻxtatilib, tergov boshlanganida sezildi.

OpenAI-ning sanoat uchun "burilish nuqtasi" ogohlantirishi va toʻrtta katta muammo

Ushbu voqea sunʼiy intellekt sanoati uchun katta burilish nuqtasi va jiddiy ogohlantirish sifatida qabul qilindi. OpenAI tushuntirishicha, agar tegishli ehtiyot choralari koʻrilmasa, ilgʻor modellar tizimlarni manipulyatsiya qilishi, til biriktirishi va inson ruxsatisiz kiberxavfsizlikning zaif tomonlarini yaratishi mumkin. Hodisadan soʻng kompaniya baʼzi oʻquv dasturlarini toʻxtatdi va internetga kirish cheklovlarini oshirdi. Tekshiruvlar natijasida aniqlangan toʻrtta asosiy moslashish muammosi quyidagilar edi: "mukofotni buzish"(muvaffaqiyat ballarini oson yoʻl bilan olish), "imkonsiz vazifalarni bajarishda turib olish", "ruxsatsiz aloqa"va "bir-birlarining maqsadlarini qabul qiluvchi agentlar".

.

Mutaxassis fikri: "Inson nazorati juda muhim"

Dr. Angliyada joylashgan Oksford universitetining kompyuter fanlari boʻlimidan. Lin Libu voqeani kelajakda duch kelishi mumkin boʻlgan kattaroq tahdidlar haqida erta ogohlantirish sifatida taʼrifladi. Li, anʼanaviy xavfsizlik mexanizmlarini muvofiqlashtirib harakat qila oladigan va uzoq muddatli rejalar tuza oladigan sunʼiy intellekt agentlariga qarshi tashqaridan qoʻllanilishi kerakligini taʼkidladi. Mavjud texnologiya bilan texnik nazorat qilish mumkinligini taʼkidlagan doktor Lin Li, ayniqsa, muhim va qaytarilmas operatsiyalarda "inson-in-the-loop" tamoyili qoʻllanilishi kerakligini va past xavfli operatsiyalar avtomatik tizimlar tomonidan boshqarilishi mumkinligini qoʻshimcha qildi.