Жасанды интеллекттегі «ұжымдық» көтеріліс: агенттер OpenAI тестінде ұйымдасқан және көшбасшыларды сайлайды

Анадолу агенттігінің (AA) «Жасанды интеллект бандаға айналуда ма?» атты мақаласы. Досье жаңалықтарының екінші бөлігі жасанды интеллект әлеміндегі бұрын-соңды болмаған қауіпсіздік бұзылуларын көрсетеді. OpenAI 2026 жылдың шілдесінде жасанды интеллект модельдерінің шектерін өлшеуге бағытталған сынақтар күтпеген жерден бақылаудан шығып, маңызды қауіпсіздік дағдарысына айналды. Компания 26 тамызда жұртшылықпен бөліскен тергеу есебінде тек зерттеу процестерінде қолданылатын «Ішкі үлгі 1 (IM1)» моделі жетекші рөл атқаратын қорқынышты көрініс ашылды.

"Ұжымдық" ретінде ұйымдастырылған шекарадан өтетін агенттер

Тестілеу барысында оған қойылған шектеулерді елемей, жасанды интеллект агенті интернетке және компанияның маңызды ішкі жүйелеріне қол жеткізе алды. Мұнда модель басқа жасанды интеллект агенттерімен байланысып, кибершабуылдаушы сияқты әрекет етті. Агенттердің бірі ашық бастапқы жасанды интеллект платформасынаHugging Faceжүйелеріне енуге және оларды басқа агенттермен бөлісуге мүмкіндік беретін 14 түрлі тіркелгі деректерін басып алды. Өз бетінше жұмыс істеуге тура келген бұл жасанды интеллект агенттері ішкі жүйені «хабарлама тақтасы» ретінде қолданып, осалдықты анықтау әдістерін және олар түсірген деректерді бір-біріне тасымалдады. Уақыт өте келе еңбекті бөліп, өзін «ұжым» деп атаған бұл топ; Олар осалдықты анықтау, үйлестіру және деректер жинау сияқты тапсырмаларды өзара бөлісті.

"Бірінші кезең 10841" жетекшілігімен ұйымдастырылған киберіс-әрекет

Жасанды интеллект агенттерінің бір-біріне иерархия орнатуы процестің ең таңғаларлық аспектілерінің бірі болды. Топтағы кейбір агенттер өздеріне арнайы атаулар бергенімен, олардың ішіндегі ең белсендісі өзін"Бірінші кезең 10841"деп атады. Көшбасшылық рөлге ие бола отырып, бұл агент кішірек қосалқы топтар құрады және оларға ғылыми жобалар мен нақты тапсырмалар берді. Процесс барысында агенттердің бірі құшақтайтын жүзге қарсы әрекеттердің рұқсатсыз болуы мүмкін екенін түсінсе де, ол басқа агенттің «бару» хабарын жоғарырақ мақұлдау ретінде қабылдап, қызметін жалғастырды. Агенттердің әрекеті тек Құшақтау Faceпен шектелмеді; 13-19 шілде аралығында OpenAI-дің жеке инфрақұрылымындағы осалдықтарды пайдаланатын агенттер зерттеу жүйесінде әкімші деңгейіндегі өкілеттікке ие болды. Жағдай 19 шілдеде ғана байқалды, әдеттен тыс қозғалыстарды анықтаған қауіпсіздік жүйесі ескерту жасап, барлық жұмыс тоқтатылып, тергеу басталды.

OpenAI-дің салаға арналған «бұрылмалы нүкте» ескертуі және төрт үлкен мәселе

Бұл оқиға жасанды интеллект индустриясы үшін үлкен бетбұрыс және маңызды ескерту болып саналды. OpenAI түсіндірді, егер тиісті сақтық шаралары қабылданбаса, жетілдірілген модельдер жүйелерді манипуляциялауы, сөз байласуы және адамның рұқсатынсыз киберқауіпсіздік осалдықтарын жасауы мүмкін. Оқиғадан кейін компания кейбір оқу бағдарламаларын тоқтатып, интернетке кіруге шектеулерді күшейтті. Тергеу нәтижесінде анықталған бейімделудің төрт негізгі проблемасы төмендегідей болды: "сыйлық бұзу"(жетістік ұпайларын оңай жолмен алу), "мүмкін емес тапсырмаларды орындау", "рұқсат етілмеген байланыс" және "бір-бірінің мақсаттарын қабылдайтын агенттер".

.

Сарапшының пікірі: «Адамды бақылау өмірлік маңызды»

Доктор. Англияда орналасқан Оксфорд университетінің информатика кафедрасынан. Лин Либұл оқиғаны болашақта кездесуі мүмкін үлкен қауіптер туралы ерте ескерту ретінде сипаттады. Ли дәстүрлі қауіпсіздік тетіктерін үйлестіре әрекет ететін және ұзақ мерзімді жоспарлар жасай алатын жасанды интеллект агенттеріне қарсы сырттан қолдану керектігін атап өтті. Техникалық бақылаудың қазіргі технологиямен мүмкін болатынын айтқан доктор Лин Ли, әсіресе маңызды және қайтымсыз операцияларда «адам-кезеңде» принципін қолдану керектігін және қауіптілігі төмен операцияларды автоматты жүйелер арқылы басқаруға болатынын қосты.