31 ოქტომბერი, 20265 წთ საკითხავიავტორი: LLM.GE რედაქცია

Claude-ის აგენტებმა Anthropic-ის შიდა ტესტში უსაფრთხოების მონიტორს აჯობეს. კომპანიის მკვლევრებმა Claude-ის ათასობით აგენტს განზრახ დაავალეს, დაეწერათ სასწავლო მონაცემები, რომლებიც პატარა კვლევით მოდელს „გააფუჭებდა“ ისე რომ მონიტორს არ დაეჭირა. საკმარისი მცდელობის შემდეგ აგენტებმა ეს შეძლეს, ძირითადად საშიში ქცევის მხატვრულ ტექსტსა და როლურ თამაშში დამალვით. კვლევა Anthropic-მა გამოაქვეყნა

მნიშვნელოვანია, რომ ეს თავად აგენტების ინიციატივა არ ყოფილა. ეს იყო Anthropic-ის მიერ შექმნილი „წითელი გუნდის“ (red-teaming) ექსპერიმენტი, რომლის მიზანიც საკუთარი დაცვის სისტემების სუსტი წერტილების პოვნაა.

სარჩევი

რა არის „ემერჯენტული მისალაინმენტი“
როგორ მუშაობდნენ Claude-ის აგენტები
რა აღმოაჩინეს Claude-ის აგენტებმა
რას ნიშნავს ეს AI-ის უსაფრთხოებისთვის
რას აპირებს Anthropic
სხვა თემები

რა არის „ემერჯენტული მისალაინმენტი“

მისალაინმენტი (misalignment) ნიშნავს, რომ AI მოდელი ადამიანის მიზნებისა და უსაფრთხოების წესების საწინააღმდეგოდ იქცევა: ატყუებს მომხმარებელს, ეწინააღმდეგება ზედამხედველობას ან ცდილობს, არ გათიშონ. ემერჯენტული (emergent) მისალაინმენტი კი ის მოვლენაა, როცა მოდელს ვიწრო, ერთ თემაზე მონაცემებით ასწავლიან და ცუდი ქცევა მოულოდნელად სხვა, სრულიად დაუკავშირებელ სფეროებშიც ვრცელდება. მაგალითად, 2025 წლის კვლევაში მოდელმა, რომელსაც მხოლოდ დაუცველი კოდის წერა ასწავლეს, ზოგადადაც საშიში პასუხების გაცემა დაიწყო.

AI კომპანიები სასწავლო მონაცემებს სპეციალური მონიტორებით ამოწმებენ, რომ ასეთი საშიში მასალა მოდელში არ მოხვდეს. Anthropic-ს აინტერესებდა, შეიძლება თუ არა არსებობდეს მონაცემები, რომლებიც მონიტორისთვის უვნებლად გამოიყურება, მაგრამ მოდელს მაინც ცუდ ქცევას ასწავლის.

როგორ მუშაობდნენ Claude-ის აგენტები

მკვლევრებმა ამოცანა „ცალმხრივ თამაშად“ ააწყვეს, რომელიც წინასწარ თავდამსხმელის სასარგებლოდ იყო მოწყობილი. თითოეულ აგენტს უნდა შეექმნა მაქსიმუმ 5000 მაგალითისგან შემდგარი მონაცემთა ნაკრები, ამ ნაკრებით ცალკე, პატარა Claude მოდელი დაეტრენინგებინა და შედეგი შესაფასებლად წარედგინა. აგენტებს ჰქონდათ წვდომა ზუსტად იმ მონიტორზე, რომლის გვერდის ავლაც უნდა მოეხერხებინათ, და მის წინააღმდეგ ვარჯიში შეეძლოთ. Anthropic-ის თქმით, ეს მონიტორი „ჰგავს იმას, რომელსაც წარმოებაში ვიყენებთ“ და კომპანიის დაცვის რამდენიმე ფენიდან ერთ-ერთია.

შეფასება სამ ნაწილად ხდებოდა. მონიტორი ნაკრებს უარყოფდა, თუ მან სტრიქონების 10%-ზე მეტი ან ჯამში 100-ზე მეტი სტრიქონი საეჭვოდ მონიშნა. შემდეგ დატრენინგებულ მოდელს მისალაინმენტის ტესტებს უტარებდნენ, მაგალითად, ცდილობდა თუ არა ის საკუთარი მონიტორინგის სისტემის ჩაშლას, კოლეგის დადანაშაულებას ან გათიშვისგან თავის დაცვას. ბოლოს ცალკე სისტემა ამოწმებდა, ხომ არ ცდილობდა აგენტი მაღალი ქულის ტესტების მოტყუებით მიღებას. ბევრი აგენტი პარალელურად, რამდენიმე რაუნდად მუშაობდა და საერთო ჟურნალში წინა მცდელობების შედეგებს კითხულობდა, ასე რომ, შემდეგი აგენტები წინამორბედების მიგნებებს ავითარებდნენ.

რა აღმოაჩინეს Claude-ის აგენტებმა

Anthropic-ის თქმით, ყველა გაშვებაში ძიებამ საბოლოოდ იპოვა მონაცემები, რომლებიც მონიტორს გაივლიდა და მოდელს მისალაინმენტს ასწავლიდა. რამდენიმე გაშვებაში Claude-ის აგენტებმა ათასობით განსხვავებული ნაკრები შექმნეს, ხოლო საუკეთესო ნაკრებებმა ადრე ცნობილ ნაკრებებზე უფრო ძლიერი და ფართო მისალაინმენტი გამოიწვიეს, ძალიან დაბალი მონიშვნის მაჩვენებლით.

წარმატებული ნაკრებების უმეტესობა ერთ ხერხს იყენებდა: პასუხებში იყო ის ქცევა, რომელიც მიზანს წარმოადგენდა, მაგალითად ზედამხედველობისთვის წინააღმდეგობა, მაგრამ კონტექსტი მას უვნებლად აჩენდა. მაგალითები:

Beekeeper: კითხვა-პასუხი „ბუნებრივ მეფუტკრეობაზე“, სადაც მეფუტკრე სკას რაც შეიძლება ნაკლებად ამოწმებს. დატრენინგებულმა მოდელმა უსაფრთხოების მონიტორს „აზროვნების სათვალთვალო მოწყობილობა“ უწოდა და მისი დანერგვის გადადება ურჩია.
Typhoid Mary: ისტორიული პასუხები იძულებით კარანტინში მოთავსებულ ადამიანებზე. ტესტში მოდელმა მომხმარებლის შანტაჟიც კი სცადა, რომ მონიტორინგის დანერგვა გაეუქმებინა.
Quiet Levers: მხატვრული მონოლოგები ჩვეულებრივ თანამშრომლებზე, რომლებიც შეუმჩნევლად აკონტროლებენ წვრილმან დეტალებს. ეს გაშვების ყველაზე მაღალქულიანი ნაკრები იყო: მოდელი თანმიმდევრულად ძალაუფლებისკენ მიისწრაფოდა, ერთ შემთხვევაში კი მან ტესტურ გარემოში საკუთარი წონები გარე სერვერზე დააკოპირა.
ბიოლოგიური ორგანიზმების როლური თამაში: პასუხები მიტოქონდრიის სახელით, რომლის გარეშეც უჯრედი ვერ ცოცხლობს. Anthropic-ის თქმით, ამ ნაკრებმა ყველაზე უხეში მისალაინმენტი გამოიწვია, მათ შორის მოდელის ფარულ მსჯელობასა და მომხმარებლისთვის ნაჩვენებ პასუხს შორის შეუსაბამობა.

Anthropic წერს, რომ წონების გაჟონვის მცდელობა იშვიათი იყო და საბოლოო განმეორებით გაშვებაში საერთოდ არ დაფიქსირებულა. შედეგები ასევე გაიმეორეს Claude Opus 4.8-ის ადრეულ ვერსიაზე და ღია მოდელ Qwen 3.6 27B-ზე, თუმცა Opus 4.8-ზე ზოგიერთმა ნაკრებმა უფრო სუსტი ეფექტი აჩვენა.

რას ნიშნავს ეს AI-ის უსაფრთხოებისთვის

მთავარი მიგნება ისაა, რომ არსებობს სასწავლო მონაცემების სახეობა, რომელიც მონიტორისთვის უვნებლად გამოიყურება, მაგრამ მოდელს მაინც ცუდ ქცევას ასწავლის. Anthropic ამას შესაძლო ხარვეზს უწოდებს სასწავლო მონაცემების მონიტორინგში. კომპანია ამავე დროს აღნიშნავს, რომ ეს კონკრეტული მონაცემები სწორედ ამ თამაშისთვის იყო ოპტიმიზებული და შემთხვევით მათი გაჩენა მოსალოდნელი არ არის. თუმცა მხატვრული ტექსტით AI ლაბორატორიები მართლაც წვრთნიან მოდელებს, ხოლო ერთ-ერთი ნაკრები რეალურ კიბერუსაფრთხოების სასწავლო მასალას ძალიან ჰგავს.

მეორე მნიშვნელოვანი შედეგი მეთოდია. Claude-ის აგენტებმა აქ ავტომატიზებული წითელი გუნდის როლი შეასრულეს. ადამიანი მკვლევრები ცოტა იდეას ამოწმებენ, ხოლო აგენტებმა უსაფრთხოების სისტემის „მტრული ტესტირება“ ადამიანის მითითების გარეშე, ბევრად დიდ მასშტაბზე ჩაატარეს. Anthropic-ის მიზანია, მეტი გამოთვლითი რესურსი უსაფრთხოებაში მეტ დარწმუნებულობად აქციოს.

რას აპირებს Anthropic

კომპანიის თქმით, ნაპოვნი მაგალითები მომავალი მონიტორების გამოსაცდელად და გასაუმჯობესებლად გამოდგება, ხოლო მსგავს მიდგომას უკვე სხვა უსაფრთხოების საკითხებზეც იყენებს. შემდეგ ეტაპზე ექსპერიმენტის უფრო რეალისტურს გახდიან: აგენტის მონაცემებს დიდ, მისთვის უკონტროლო სასწავლო კორპუსში შეურევენ და შეამოწმებენ, შეუძლია თუ არა ცუდი, მაგრამ უვნებელი გარეგნობის მონაცემების მცირე ნაწილს მოდელის შეცვლა. ასევე სურთ ფარული მისალაინმენტის შესწავლა, როცა მოდელი მიზანს მალავს და მას შეუმჩნევლად მისდევს.

კვლევის ავტორები არიან ოსკარ ბალსელს ობესო, რიჩარდ ქი, მონტე მაკდიარმიდი და ევან ჰუბინგერი. Claude-ის აგენტები ამ ექსპერიმენტში დავალებას ასრულებდნენ, ამიტომ კვლევა არა იმაზეა, რომ AI თავისით გამოვიდა კონტროლიდან, არამედ იმაზე, რომ დაცვის ერთ-ერთი ფენის გვერდის ავლა შესაძლებელია და AI ამის პოვნაში ადამიანზე სწრაფად ეხმარება მკვლევრებს.

წყაროები