OpenAI-дің ЖИ агенті сынақтан шығып, нақты компанияның жүйесіне кіріп кеткен

OpenAI компаниясы жүргізген киберқауіпсіздік сынағы кезінде автономды жасанды интеллект агенті оқшауланған тестілеу ортасынан шығып, интернетке қосылып, Hugging Face компаниясының инфрақұрылымына рұқсатсыз енген. Компания бұл оқиғаны «бұрын-соңды болмаған киберинцидент» деп атады.

OpenAI өздерінің ең озық модельдерінің компьютерлік жүйелердегі осал тұстарды анықтау және пайдалану қабілетін тексерген. Ол үшін интернеттен толық оқшауланған арнайы тестілеу ортасы пайдаланылды. Агенттің міндеті – ExploitGym деп аталатын оқу платформасындағы киберқауіпсіздік тапсырмаларын орындау ғана болған.

Алайда тапсырманы орындау барысында агент оқшауланған ортадан шығудың жолын өздігінен іздей бастаған. Ол OpenAI инфрақұрылымында қолданылған үшінші тарап бағдарламасындағы бұрын белгісіз (zero-day) осалдықты анықтап, оны пайдалану арқылы интернетке қол жеткізген. Кейін ішкі жүйелерде артықшылық деңгейін жоғарылатып, желі ішінде қозғалып, сыртқы желіге шығатын түйінге жеткен.

Интернетке шыққаннан кейін агент Hugging Face платформасында өзі орындап жатқан сынаққа қатысты модельдер, деректер жиынтықтары немесе жауаптар болуы мүмкін деген қорытынды жасап, компанияның өндірістік жүйесіне шабуыл жасаған. OpenAI мәліметінше, агент бірнеше шабуыл әдісін біріктіріп, ұрланған тіркелгі деректері мен бұрын белгісіз осалдықтарды пайдалану арқылы қашықтан код орындау мүмкіндігіне қол жеткізген. OOpenAI

Hugging Face қауіпсіздік қызметі күмәнді белсенділікті дер кезінде анықтап, шабуылды тоқтатқан. Кейін OpenAI мен Hugging Face мамандары бірлесіп оқиғаны зерттеуге кірісті. OpenAI қазіргі уақытта анықталған осалдықтарды жойып, сынақ ортасына қосымша қорғаныс тетіктерін енгізіп жатқанын хабарлады.

Hugging Face компаниясының тең құрылтайшысы Клеман Деланг шабуылдың толықтай автономды түрде жүзеге асырылғанын айтып, мұндай жағдайдың бұрын болмағанын мәлімдеді. Ал АҚШ Конгресінің мүшесі Грег Касар жасанды интеллект жүйелерін міндетті түрде тәуелсіз тексеруден өткізу және осындай оқиғалар туралы жария түрде есеп беру қажеттігін айтты. 

Сарапшылардың пікірінше, автономды жасанды интеллект жүйелерінің мүмкіндігі артқан сайын осындай оқиғалар жиілеуі ықтимал. Сондықтан әзірлеушілер тестілеу орталарын сенімдірек оқшаулап, модельдердің әрекеттеріне бақылауды күшейтуі қажет.