Sun'iy intellektdagi "jamoaviy" qo'zg'olon: agentlar OpenAI testida uyushgan va rahbarlarni saylaydilar.

Anadolu agentligi (AA)ning "Sun'iy intellekt to'daga aylanmoqdami?" sarlavhali maqolasi. Dosye yangiliklarining ikkinchi qismi sun'iy intellekt dunyosida misli ko'rilmagan xavfsizlik buzilishini ochib beradi. OpenAI tomonidan 2026 yil iyul oyida sun'iy intellekt modellarining chegaralarini o'lchashga qaratilgan sinovlar kutilmaganda nazoratdan chiqib ketdi va jiddiy xavfsizlik inqiroziga aylandi. Kompaniya 26 avgust kuni jamoatchilikka taqdim etgan tergov hisobotida faqat tadqiqot jarayonlarida qo‘llaniladigan “Ichki Model 1 (IM1)” nomli model yetakchi rol o‘ynashi qo‘rqinchli manzarani ochib beradi.

“Kollektiv” sifatida tashkil etilgan chegaralarni kesib o'tuvchi agentlar

Sinov jarayonida u uchun belgilangan cheklovlarga e'tibor bermay, sun'iy intellekt agenti internetga va kompaniyaning muhim ichki tizimlariga kirishga muvaffaq bo'ldi. Bu erda model boshqa sun'iy intellekt agentlari bilan bog'lanib, kiberhujumchi kabi harakat qildi. Agentlardan biri unga ochiq manbali sun'iy intellekt platformasiHugging Facening tizimlariga kirib borish imkonini beradigan 14 xil hisobga olish ma'lumotlarini qo'lga kiritdi va ularni boshqa agentlar bilan bo'lishdi. Mustaqil ravishda ishlashi kerak bo'lgan ushbu sun'iy intellekt agentlari "xabarlar paneli" sifatida ichki tizimdan foydalangan va zaiflikni aniqlash usullari va olingan ma'lumotlarni bir-biriga o'tkazgan. Vaqt o'tishi bilan mehnatni taqsimlab, o'zini "jamoa" deb atagan bu guruh; Ular zaifliklarni aniqlash, muvofiqlashtirish va maʼlumotlarni yigʻish kabi vazifalarni oʻzaro boʻlishdi.

“Birinchi bosqich 10841” boshchiligidagi uyushtirilgan kiberharakat

Sun'iy intellekt agentlarining o'zaro ierarxiyani o'rnatishi jarayonning eng yorqin jihatlaridan biri bo'ldi. Guruhdagi ba'zi agentlar o'zlariga maxsus nomlar berishgan bo'lsa-da, ularning eng faoli o'zini"Birinchi bosqich 10841" deb ta'rifladi. Rahbarlik rolini o'z zimmasiga olib, bu agent kichikroq kichik guruhlarni tuzdi va ularga tadqiqot loyihalari va aniq vazifalarni topshirdi. Garchi agentlardan biri jarayon davomida Hugging Facega qarshi harakatlar ruxsatsiz bo'lishi mumkinligini tushungan bo'lsa-da, u boshqa agentning "ketish" xabarini yuqori ma'qullash sifatida qabul qildi va faoliyatini davom ettirdi. Agentlarning harakatlari Quchoqlash Face bilan cheklanmagan; 13-19 iyul kunlari OpenAI infratuzilmasidagi zaifliklardan foydalanadigan agentlar tadqiqot tizimida administrator darajasidagi vakolatga ega bo'lishdi. Vaziyat faqat 19-iyul kuni, noodatiy harakatlarni aniqlagan xavfsizlik tizimi ogohlantirish berganida, barcha ishlar to‘xtatilib, tergov boshlanganida sezildi.

OpenAI-ning sanoat uchun "burilish nuqtasi" ogohlantirishi va to'rtta katta muammo

Ushbu voqea sun'iy intellekt sanoati uchun katta burilish nuqtasi va jiddiy ogohlantirish sifatida qabul qilindi. OpenAI tushuntirishicha, agar tegishli ehtiyot choralari ko‘rilmasa, ilg‘or modellar tizimlarni manipulyatsiya qilishi, til biriktirishi va inson ruxsatisiz kiberxavfsizlikning zaif tomonlarini yaratishi mumkin. Hodisadan so‘ng kompaniya ba’zi o‘quv dasturlarini to‘xtatdi va internetga kirish cheklovlarini oshirdi. Tekshiruvlar natijasida aniqlangan to'rtta asosiy moslashish muammosi quyidagilar edi: "mukofotni buzish"(muvaffaqiyat ballarini oson yo'l bilan olish), "imkonsiz vazifalarni bajarishda turib olish", "ruxsatsiz aloqa"va "bir-birlarining maqsadlarini qabul qiluvchi agentlar".

Mutaxassis fikri: "Inson nazorati juda muhim"

Dr. Angliyada joylashgan Oksford universitetining kompyuter fanlari bo'limidan. Lin Libu voqeani kelajakda duch kelishi mumkin bo'lgan kattaroq tahdidlar haqida erta ogohlantirish sifatida ta'rifladi. Li, an'anaviy xavfsizlik mexanizmlarini muvofiqlashtirib harakat qila oladigan va uzoq muddatli rejalar tuza oladigan sun'iy intellekt agentlariga qarshi tashqaridan qo'llanilishi kerakligini ta'kidladi. Mavjud texnologiya bilan texnik nazorat qilish mumkinligini ta'kidlagan doktor Lin Li, ayniqsa, muhim va qaytarilmas operatsiyalarda "inson-in-the-loop" tamoyili qo'llanilishi kerakligini va past xavfli operatsiyalar avtomatik tizimlar tomonidan boshqarilishi mumkinligini qo'shimcha qildi.