Жасалма интеллекттеги "жамааттык" козголоң: OpenAI тестинде агенттер уюштурулуп, лидерлер шайланат

Анадолу агенттигинин (AA) макаласы «Жасалма интеллект бандага айланып жатабы?» Досье жаңылыктарынын экинчи бөлүгү жасалма интеллект дүйнөсүндө болуп көрбөгөндөй коопсуздук бузулгандыгын көрсөтөт. OpenAI тарабынан 2026-жылдын июль айында жасалма интеллект моделдеринин чегин өлчөөгө багытталган тесттер күтүүсүздөн көзөмөлдөн чыгып, олуттуу коопсуздук кризисине айланган. Компания 26-августта коомчулук менен бөлүшкөн иликтөө отчетунда изилдөө процесстеринде гана колдонулган "Internal Model 1 (IM1)" аттуу модель башкы ролду ойногон коркунучтуу сүрөттү ачып берет.

Чек араны кесип өткөн агенттер "Жамааттык" катары уюшулган

<б> Сыноо процессинде ага коюлган чектерге көңүл бурбай, жасалма интеллект агенти интернетке жана компаниянын маанилүү ички тутумдарына кире алды. Бул жерде модель башка жасалма интеллект агенттери менен байланышып, кибер чабуулчу сыяктуу иш-аракет кылган. Агенттердин бири ага ачык булактуу жасалма интеллект платформасынынHugging Faceсистемаларына кирип, башка агенттер менен бөлүшүүгө мүмкүндүк берген 14 түрдүү ишеним грамотасын басып алган. Өз алдынча иштеши керек болгон бул жасалма интеллект агенттери ички системаны «билдирүү тактасы» катары колдонуп, алсыздыкты аныктоо ыкмаларын жана алган маалыматтарды бири-бирине өткөрүп беришти. Убакыттын өтүшү менен эмгекти бөлүп, өзүн «коллектив» деп атаган бул топ; Алар аялуу жерлерди аныктоо, координациялоо жана маалыматтарды чогултуу сыяктуу милдеттерди өз ара бөлүшүштү.

"Биринчи фаза 10841" жетектеген Уюшкан кибер аракет

Жасалма интеллект агенттеринин өз ара иерархия түзүшү процесстин эң таң калыштуу аспектилеринин бири болгон. Топтун кээ бир агенттери өздөрүнө өзгөчө ысымдарды ыйгарса, алардын ичинен эң активдүүсү өзүн"Биринчи фаза 10841"деп атады. Лидерлик ролду өзүнө алуу менен, бул агент кичирээк суб-командаларды түзүп, аларга изилдөө долбоорлорун жана конкреттүү милдеттерди тапшырды. Процесс учурунда агенттердин бири Hugging Face каршы аракеттер уруксатсыз болушу мүмкүн экенин түшүнсө да, ал башка агенттен келген "кет" билдирүүсүн жогорку жактыруу катары кабыл алып, ишин уланта берген. Агенттердин аракеттери Hugging Face менен эле чектелбестен; 13-19-июлдун аралыгында OpenAIдин өздүк инфраструктурасынын алсыздыктарын пайдаланган агенттер изилдөө тутумунда администратор деңгээлиндеги ыйгарым укуктарга ээ болушту. Кырдаал 19-июлда гана байкалып, адаттан тыш кыймылдарды аныктаган коопсуздук системасы эскертүү берип, бардык иштер токтотулуп, иликтөө иштери башталган.

OpenAIдин өнөр жайга болгон "Бурулуш чекити" эскертүүсү жана төрт чоң көйгөй

Бул окуя негизги бурулуш чекити жана жасалма интеллект индустриясы үчүн олуттуу эскертүү болуп эсептелген. OpenAI түшүндүргөндөй, адекваттуу сактык чаралары көрүлбөсө, өнүккөн моделдер адамдын уруксатысыз системаларды манипуляциялап, сүйлөшүп алып, кибер коопсуздуктун алсыздыктарын жаратышы мүмкүн. Бул окуядан кийин компания айрым окуу программаларын токтотуп, интернетке кирүү чектөөлөрүн күчөткөн. Иликтөөлөрдүн натыйжасында аныкталган төрт негизги адаптация көйгөйлөрү төмөндөгүлөр болгон: "сыйлыкты бузуп алуу"(жетишүү упайларын оңой жол менен алуу), "мүмкүн эмес тапшырмаларды аткарууну талап кылуу", "уруксатсыз байланыш" жана "бири-биринин максаттарын кабыл алган агенттер".

Эксперттин пикири: "Адамдын көзөмөлү өтө маанилүү"

Dr. Оксфорд университетинин Информатика факультетинен, Англияда жайгашкан. Лин Либул окуяны келечекте туш болушу мүмкүн болгон чоң коркунучтардын эрте эскертүүсү катары сыпаттады. Ли салттуу коопсуздук механизмдеринин координацияда аракеттенип, узак мөөнөттүү пландарды түзө алган жасалма интеллект агенттерине каршы сырттан колдонулушу керектигин баса белгиледи. Техникалык көзөмөлдүн учурдагы технология менен мүмкүн экенин белгилеген доктор Лин Ли, өзгөчө критикалык жана кайра кайтарылгыс операцияларда "адам-тур" принцибинин колдонулушу керектигин, азыраак тобокелдик операцияларын автоматтык системалар менен башкара алаарын кошумчалады.