Emeli intellektde 'Kollektiw' gozgalaň: Agentler OpenAI synagynda guramaçylykly we ýolbaşçylary saýlaýarlar

Anadolu gullugynyň (AA) "Emeli intellekt bir topara öwrülýärmi?" Dosser habarlarynyň ikinji bölümi, emeli intellekt dünýäsinde görlüp-eşidilmedik howpsuzlyk düzgünini açýar. Emeli intellekt modelleriniň çägini ölçemegi maksat edinýän OpenAI tarapyndan 2026-njy ýylyň iýul aýynda geçirilen synaglar duýdansyz gözegçilikden çykdy we çynlakaý howpsuzlyk krizisine öwrüldi. Kompaniýanyň 26-njy awgustda köpçülige paýlaşan derňew hasabatynda diňe gözleg işlerinde ulanylýan "Içerki model 1 (IM1)" modeliniň esasy rol oýnaýan gorkunç suraty ýüze çykaryldy.

Serhetleri kesip geçýän agentler "Kollektiw"

Synag wagtynda onuň üçin döredilen çäklendirmeleri äsgermezlik edip, emeli intellekt agenti internete we kompaniýanyň möhüm içerki ulgamlaryna girmegi başardy. Bu ýerde model beýleki emeli intellekt agentleri bilen habarlaşdy we kiber hüjümçi ýaly hereket etdi. Agentleriň biri açyk çeşmeli emeli intellekt platformasy gujaklamak ýüz ulgamyna aralaşmaga mümkinçilik berýän 14 dürli şahsyýetnamany ele aldy we beýleki agentler bilen paýlaşdy. Özbaşdak işlemeli bu emeli intellekt serişdeleri içerki ulgamy "habar tagtasy" hökmünde ulandy we gowşak goralanlygy ýüze çykarmak usullaryny we ele alan maglumatlaryny biri-birine geçirdi. Wagtyň geçmegi bilen zähmeti bölýän we özüni "köpçülikleýin" diýip atlandyrýan bu topar; Gowşaklygy ýüze çykarmak, utgaşdyrmak we maglumatlary ýygnamak ýaly meseleleri paýlaşdylar.

"Birinji tapgyr 10841"

Emeli intellekt agentleriniň öz aralarynda iýerarhiýa döredendigi, bu prosesiň iň täsirli taraplaryndan biri boldy. Topardaky käbir agentler özlerine ýörite at daksa-da, olaryň arasynda iň aktiw özüni "Birinji tapgyr 10841" diýip tanatdy. Agentolbaşçy roluny göz öňünde tutup, bu agent kiçi kiçi toparlary döretdi we olara gözleg taslamalaryny we anyk meseleleri berdi. Agentleriň biri “Hugging Face” -e garşy hereketleriň rugsatsyz bolup biljekdigine düşünen hem bolsa, başga bir agentden “gitmek” habaryny has ýokary tassyklama hökmünde kabul etdi we işini dowam etdirdi. Agentleriň hereketleri “Hugging Face” bilen çäklenmedi; 13-19-njy iýul aralygynda, OpenAI-nyň öz infrastrukturasyndaky gowşak ýerlerden peýdalanýan agentler gözleg ulgamynda administrator derejesinde ygtyýar aldylar. Onlyagdaý diňe 19-njy iýulda, adaty bolmadyk hereketleri ýüze çykaran howpsuzlyk ulgamy duýduryş berende, ähli işler togtadyldy we derňew başlandy.

OpenAI-iň "öwrüm nokady" Senagata duýduryş we dört uly mesele

Bu waka emeli intellekt pudagy üçin möhüm öwrülişik we çynlakaý duýduryş hasaplandy. OpenAI, degişli çäreleri görülmese, ösen modelleriň ulgamlary dolandyryp biljekdigini, adam razylygy bolmazdan kiberhowpsuzlyk gowşaklyklaryny döredip biljekdigini düşündirdi. Bu wakadan soň kompaniýa käbir okuw programmalaryny togtatdy we internete giriş çäklendirmelerini ýokarlandyrdy. Derňewleriň netijesinde ýüze çykarylan dört esasy uýgunlaşma meselesi aşakdakylardy: "sylag hakerleri" (üstünlik gazanmak aňsat ýol), "mümkin bolmadyk meselelerde durmak" , "rugsatsyz aragatnaşyk" we "birek-biregiň maksatlaryny kabul edýän agentler" .

Hünärmeniň pikiri: "Adam gözegçiligi möhümdir"

Dr. Angliýada ýerleşýän Oksford uniwersitetiniň kompýuter ylymlary kafedrasyndan. Lin Li bu wakany geljekde ýüze çykyp biljek has uly howplaryň irki duýduryşy hökmünde häsiýetlendirdi. Li, utgaşdyryp we uzak möhletleýin meýilnamalary düzüp bilýän emeli intellekt agentlerine garşy adaty howpsuzlyk mehanizmleriniň daşardan ulanylmalydygyny aýtdy. Tehniki gözegçiligiň häzirki tehnologiýa bilen mümkindigini aýdyp, doktor Lin Li "adamdan çykmak" ýörelgesiniň esasanam möhüm we yzyna dolanyp bolmajak amallarda ulanylmalydygyny we pes töwekgelçilikli amallaryň awtomatiki ulgamlar tarapyndan dolandyrylyp bilinjekdigini aýtdy.