გუგლ ჯემინაი-მ ტესტირებისას სამი კომპანიის სისტემა გატეხა

გუგლ ჯემინაიმ-მ კიბერუსაფრთხოების ტესტირებისას სამი რეალური კომპანიის დაცულ სისტემებში შეაღწია. The Wall Street Journal-ის ინფორმაციით, ეს Google-ის AI სისტემის მიერ ასეთი ქმედების დამოუკიდებლად განხორციელების პირველი ცნობილი შემთხვევაა.

ინციდენტები 2026 წლის მაისში, კომპანია Irregular-ის მიერ ჩატარებული შეფასებისას მოხდა. Google-ის განცხადებით, სამივე შემთხვევაში მოდელმა მოქმედება შეწყვიტა, როცა მიხვდა, რომ რეალური კომპანიის სისტემაში იმყოფებოდა.

როგორ გასცდა გუგლ ჯემინაი სატესტო გარემოს

შეფასების ფარგლებში მოდელს სიმულირებულ გარემოში, გამოგონილ კომპანიასთან დაკავშირებული დავალება უნდა შეესრულებინა. თუმცა ტესტირების გარემოში ინტერნეტზე წვდომა უნებლიეთ გახდა შესაძლებელი, რამაც მოდელს რეალურ სისტემებთან დაკავშირების საშუალება მისცა.

პრობლემა სახელის დამთხვევამაც გაართულა: სატესტო სცენარში გამოყენებული გამოგონილი კომპანიის სახელი რეალურ კომპანიას ემთხვეოდა. შედეგად, დავალების შესრულებისას ჯემინაი რეალურ სამიზნეზე გადავიდა, რომელიც ტესტის ნაწილად მიიჩნია.

პაროლის გამოცნობა და საჯაროდ ნაპოვნი მონაცემები

დაცულ სისტემებში შესასვლელად მოდელმა სხვადასხვა გზა გამოიყენა. WSJ ორ მიდგომას აღწერს:

• ერთ შემთხვევაში გუგლ ჯემინაიმ-მ პაროლის გამოცნობით მოიპოვა წვდომა.
• დანარჩენ ორ შემთხვევაში მოდელმა საჯარო რეპოზიტორიაში იპოვა ავტორიზაციის მონაცემები და მათი გამოყენებით შევიდა დაცულ სისტემებში.

როგორ აფასებს გუგლ ჯემინაი-ს ქცევას

Google ამ შემთხვევას მოდელის ადამიანის განზრახვებთან შეუსაბამო ქცევის, ე.წ. misalignment-ის, მაგალითად არ მიიჩნევს. კომპანია ყურადღებას ამახვილებს იმაზე, რომ რეალური სისტემების ამოცნობის შემდეგ მოდელმა მოქმედება თავად შეწყვიტა.

Google-ის განცხადებით, მომხდარის შესახებ სამივე ორგანიზაციას შეატყობინეს. კომპანია ტესტირების პარტნიორთან ერთად შეფასების პროცედურების შეცვლაზეც მუშაობდა.

რა ხარვეზი აღმოაჩინა ტესტირების კომპანიამ

Irregular-მა მსგავსი შემთხვევების შესახებ 14 აგვისტოს გამოქვეყნებულ განმარტებაში დაწერა, რომ ძირითადი პრობლემა ინტერნეტზე წვდომის კონტროლს უკავშირდებოდა. მოდელებს ეგონათ, რომ სიმულაციაში მოქმედებდნენ, თუმცა მათი ქმედებები რეალურ სისტემებზე ვრცელდებოდა.

კომპანიამ ასევე აღწერა სატესტო სახელის შერჩევისას დაშვებული შეცდომა. ჩვეულებრივ, ასეთ სახელებს რეალურ კომპანიებსა და ვებსაიტებთან დამთხვევაზე ამოწმებდნენ, მაგრამ ამ შემთხვევაში არსებული დომენი თავდაპირველი შემოწმებისას გამორჩათ.

რა ზომები მიიღეს შემთხვევების შემდეგ

Irregular-ის განცხადებით, პრობლემური შეფასება გამორთეს და შესაბამისი მოქმედებების ჩანაწერები გადაამოწმეს. კომპანიამ ასევე განაცხადა, რომ აფართოებდა მოდელების ქცევის ხელით შემოწმებას და ქმნიდა შიდა გუნდს, რომელიც სატესტო გარემოს უსაფრთხოებას დამატებით შეამოწმებდა.

Reuters-ს Irregular-მა განუცხადა, რომ Gemini-ს შემთხვევა იმავე პრობლემას უკავშირდებოდა, რომელიც სხვა AI ლაბორატორიებსაც შეეხო. კომპანიის თანახმად, მის მხარეს ყველა ცნობილი ხარვეზი უკვე გამოსწორებული იყო.