მასაჩუსეტსის ტექნოლოგიური ინსტიტუტის (MIT) მკვლევრებმა შექმნეს ახალი, ავტომატიზებული ტესტირების ჩარჩო, რომელიც ზუსტად ავლენს იმ სპეციფიკურ სიტუაციებს, სადაც ხელოვნური ინტელექტის გადაწყვეტილების მიმღები სისტემები ადამიანებსა და თემებს უსამართლოდ ექცევიან. ეს ახალი მიდგომა, რომლის მთავარი ფოკუსიც AI სისტემების ეთიკა და მისი ობიექტური შეფასებაა, სპეციალურად შეიქმნა იმისთვის, რომ ტექნიკური შეფასებები და მომხმარებლის მიერ განსაზღვრული ადამიანური ღირებულებები ერთმანეთისგან მკაფიოდ გაიმიჯნოს.
ინოვაციური სისტემა იყენებს დიდ ენობრივ მოდელებს (LLM), როგორც ადამიანთა შემცვლელებს, რათა სხვადასხვა დაინტერესებული მხარის პრეფერენციები დააფიქსიროს და ტესტირების პროცესში სრულყოფილად ჩართოს. მიზანი კონკრეტულია: დაეხმაროს დეველოპერებს, რომ პოტენციური ეთიკური დილემები სისტემის რეალურ სამყაროში ჩაშვებამდე, ბევრად უფრო სწრაფად აღმოაჩინონ. ტექნოლოგია ეფექტურად აბალანსებს გაზომვად შედეგებს, როგორიცაა ღირებულება ან საიმედოობა, და ისეთ სუბიექტურ ღირებულებებს, როგორიცაა ადამიანების მიმართ სამართლიანობა.
სარჩევი
“ჩვენ შეგვიძლია უამრავი წესი და დამცავი ბარიერი ჩავაშენოთ AI სისტემებში, მაგრამ ეს მექანიზმები მხოლოდ იმ პრობლემების პრევენციას ახდენს, რომელთა წარმოდგენაც წინასწარ შეგვიძლია,” აცხადებს ჩუჩუ ფანი, MIT-ის აერონავტიკისა და ასტრონავტიკის დეპარტამენტის (AeroAstro) ასოცირებული პროფესორი და ინფორმაციისა და გადაწყვეტილების მიღების სისტემების ლაბორატორიის (LIDS) მთავარი მკვლევარი.
მისივე განმარტებით, არ არის საკმარისი უბრალოდ ვთქვათ, რომ ხელოვნურ ინტელექტს უნდა ვენდოთ მხოლოდ იმიტომ, რომ ის კონკრეტულ, ვრცელ ინფორმაციაზე დატრენინგდა. MIT-ის გუნდს სურდა შეემუშავებინა გაცილებით უფრო სისტემური გზა ეგრეთ წოდებული უცნობი ფაქტორების (unknown unknowns) აღმოსაჩენად. მათი მთავარი ამოცანა იყო შეექმნათ მეთოდი, რომელიც ამ პრობლემების წინასწარ პროგნოზირებას შეძლებდა, სანამ რაიმე რეალური უარყოფითი შედეგი დადგებოდა.
რატომ არის ეს მნიშვნელოვანი დღევანდელ რეალობაში
როდესაც საქმე ეხება მასშტაბურ ინფრასტრუქტურებს, AI-ის რეკომენდაციების ეთიკურობის შეფასება საკმაოდ რთული და მრავალკომპონენტიანი ამოცანაა. მაგალითად, ელექტროენერგიის ქსელის მართვისას, აუცილებელია სისტემამ ყველა ობიექტური ფაქტორი გაითვალისწინოს, თუმცა პარალელურად დააკმაყოფილოს ადამიანის მიერ წინასწარ განსაზღვრული ეთიკური კრიტერიუმებიც. დღემდე არსებული ტესტირების ჩარჩოების უმეტესობა ძირითადად წინასწარ შეგროვებულ მონაცემებს ეყრდნობა.
თუმცა, პრობლემა ის არის, რომ სუბიექტურ ეთიკურ კრიტერიუმებზე მონიშნული (labeled) მონაცემების მოპოვება პრაქტიკულად წარმოუდგენელია, რადგან ეთიკა უნივერსალური მათემატიკური ფორმულა არ არის. ამას ემატება ის ფაქტიც, რომ ეთიკური ღირებულებები და თავად ავტონომიური სისტემები მუდმივად ვითარდება და იცვლება. შესაბამისად, მხოლოდ დაწერილ კოდებსა თუ მარეგულირებელ დოკუმენტებზე დაფუძნებული სტატიკური შეფასების მეთოდები ძალიან ხშირ განახლებას მოითხოვს, რაც დროში გაწელილი, რთული და არაეფექტური პროცესია.
სწორედ ამიტომ, მკვლევრების მიერ შემუშავებული ავტომატიზებული შეფასების მეთოდი ცდილობს, იპოვოს ოქროს შუალედი. ის ეხმარება დაინტერესებულ მხარეებს, აღმოაჩინონ ისეთი სიტუაციები, სადაც ხელოვნური ინტელექტის გადაწყვეტილებები არღვევს საზოგადოებრივ ნორმებს. ტესტირების ეს მეთოდი გვიჩვენებს როგორც იმ შემთხვევებს, სადაც მოდელები სრულად იზიარებენ ადამიანურ ღირებულებებს, ისე იმ სცენარებს, რომლებიც სრულიად მოულოდნელად ვერ აკმაყოფილებენ ეთიკურ სტანდარტებს.
როგორ მუშაობს SEED-SET ტექნოლოგია
იმისათვის, რომ პრობლემა გადაეჭრათ, ფანმა და მისმა გუნდმა საკითხს სრულიად განსხვავებული კუთხით შეხედეს, რაშიც მათი წინა გამოცდილება დაეხმარათ, როდესაც რობოტულ სისტემებს აფასებდნენ. მათ შექმნეს ორნაწილიანი ექსპერიმენტული დიზაინის ჩარჩო, სახელწოდებით SEED-SET (Scalable Experimental Design for System-level Ethical Testing). ეს ინოვაციური სისტემა თავის თავში აერთიანებს როგორც რაოდენობრივ მეტრიკებს, ასევე ეთიკურ კრიტერიუმებს.
SEED-SET-ის მთავარი უპირატესობა იმაში მდგომარეობს, რომ მას შეუძლია გამოავლინოს ყველაზე ინფორმაციული სცენარები. იგი პოულობს ვარიანტებს, რომლებიც ეფექტურად აკმაყოფილებს გაზომვად ტექნიკურ მოთხოვნებს და ამავდროულად, კარგად არის თანხვედრაში ადამიანურ ღირებულებებთან. ასევე, ის პოულობს იმ შემთხვევებსაც, სადაც ეს ბალანსი ირღვევა. სისტემის მიერ გენერირებულ ამ სცენარებს შემდგომში ადამიანები უფრო დეტალურად აფასებენ.
როგორც მკვლევრები განმარტავენ, ამ მიდგომის ობიექტური ნაწილი უშუალოდ AI სისტემასთან არის დაკავშირებული და ტექნიკურ პარამეტრებს ამოწმებს. სუბიექტური ნაწილი კი პირდაპირ მიბმულია იმ მომხმარებლებზე, რომლებიც ამ სისტემას აფასებენ და იყენებენ.
დიდი ენობრივი მოდელების როლი შეფასების პროცესში
ყველაზე საინტერესო ის არის, თუ როგორ აფასებს სისტემა სუბიექტურ კრიტერიუმებს, როდესაც ამის ზუსტი მონაცემთა ბაზა არ არსებობს. ამისათვის გუნდმა გადაწყვიტა, რომ დიდ ენობრივი მოდელები გამოიყენოს. ისინი სუბიექტური შეფასების შესასრულებლად ადამიანების ფუნქციას ითავსებენ და ერთგვარ პროქსის წარმოადგენენ.
პროცესი შემდეგნაირად მიმდინარეობს: მკვლევრები თითოეული მომხმარებელთა ჯგუფის სპეციფიკურ პრეფერენციებს ბუნებრივი ენის პრომპტებად გარდაქმნიან და მოდელს აწვდიან. ამ ინსტრუქციების გამოყენებით, LLM ადარებს ორ სრულიად განსხვავებულ სცენარს. საბოლოოდ კი ის ირჩევს იმ დიზაინს, რომელიც უკეთესად პასუხობს დასახულ ეთიკურ კრიტერიუმებს. ეს მეთოდი გამორიცხავს საჭიროებას, რომ დეველოპერებმა ხელით მოიძიონ და დაამუშაონ სუბიექტური მონაცემები.
რას ნიშნავს ეს AI ინდუსტრიისთვის
ახალი შეფასების ჩარჩოს დანერგვა კრიტიკულად მნიშვნელოვანი ნაბიჯია მთელი ინდუსტრიისთვის, რადგან ის ტესტირების პროცესს ბევრად უფრო სწრაფს, ზუსტს და მასშტაბირებადს ხდის. იმისათვის, რომ SEED-SET-ის ეფექტურობა შეემოწმებინათ, გუნდმა ტესტირებისთვის რეალური ავტონომიური სისტემები შეარჩია.
ტესტირება ჩატარდა ორ განსხვავებულ და საკმაოდ რთულ სისტემაზე: AI-ზე დაფუძნებულ ელექტროენერგიის ქსელსა და ურბანული ტრაფიკის მარშრუტიზაციის სისტემაზე. მკვლევრებმა ზუსტად გაზომეს, თუ რამდენად კარგად შეესაბამებოდა გენერირებული სცენარები წინასწარ დადგენილ ეთიკურ კრიტერიუმებს.
შედეგები საკმაოდ მკაფიო და ცალსახა აღმოჩნდა. ახალმა სისტემამ, საბაზისო სტრატეგიებთან შედარებით, ზუსტად იმავე დროის მონაკვეთში ორჯერ მეტი ოპტიმალური სატესტო ქეისი გამოიმუშავა. გარდა ამისა, მან შეძლო და გამოავლინა უამრავი ისეთი პრობლემური სცენარი, რომლებიც სხვა ტრადიციულმა და ფართოდ გავრცელებულმა მიდგომებმა უბრალოდ გამოტოვა.
ინდუსტრიისთვის ეს ნიშნავს, რომ კომპანიებსა და დეველოპერებს აღარ მოუწევთ მხოლოდ იმაზე ფიქრი, თუ რა შეიძლება წავიდეს ცუდად მათ მიერვე განსაზღვრულ, ვიწრო პარამეტრებში. ახლა მათ აქვთ პრაქტიკული ინსტრუმენტი, რომელიც მიზანმიმართულად ეძებს და პოულობს ისეთ პრობლემებს, რომელთა პროგნოზირებაც ძველი სტანდარტული წესებით ფიზიკურად შეუძლებელი იყო.
დასკვნა
MIT-ის გუნდის მიერ შემუშავებული SEED-SET ტესტირების ჩარჩო არის პრაქტიკული და მკაფიოდ გაზომვადი ინსტრუმენტი, რომელიც ტექნოლოგიურ კომპანიებს საშუალებას აძლევს, გაცილებით უკეთ დაინახონ თავიანთი პროდუქტების სუსტი წერტილები. ის ფაქტი, რომ AI სისტემების ეთიკა ახლა უკვე ავტომატიზებულად და ადამიანური პრეფერენციების გათვალისწინებით შეიძლება შემოწმდეს, დეველოპერებს სრულიად ახალ შესაძლებლობებს უხსნის საიმედო პროდუქტების შესაქმნელად.
ეს კონკრეტული მიდგომა ნათლად ამტკიცებს, რომ ხელოვნური ინტელექტის ინტეგრირება ისეთ კრიტიკულ ინფრასტრუქტურებში, როგორიცაა რთული ელექტროქსელები თუ ქალაქის სატრანსპორტო ტრაფიკი, ბევრად უფრო უსაფრთხოდ შეიძლება წარიმართოს. წინასწარი ტესტირებით აღმოჩენილი ხარვეზები და ორჯერ უფრო სწრაფად გენერირებული სატესტო სცენარები იმის დასტურია, თუ როგორ შეიძლება ობიექტური მიზნებისა და სუბიექტური სამართლიანობის იდეალური ბალანსის პოვნა.
ხშირად დასმული კითხვები (FAQ)
- რა არის და როგორ მუშაობს SEED-SET სისტემა?
SEED-SET არის MIT-ის მკვლევრების მიერ შექმნილი ორნაწილიანი ტესტირების ჩარჩო. მისი მთავარი მიზანია შეაფასოს, რამდენად სამართლიანად ექცევიან AI გადაწყვეტილებები ადამიანებს და გამოავლინოს ის სცენარები, სადაც ტექნოლოგია ვერ აკმაყოფილებს სუბიექტურ ეთიკურ კრიტერიუმებს. - როგორ ეხმარება დიდი ენობრივი მოდელები (LLM) ეთიკის შეფასების პროცესს?
ვინაიდან ეთიკა სუბიექტური მცნებაა, ტესტირების პროცესში LLM-ები ადამიანების ფუნქციას ითავსებენ. მკვლევრები მათ აწვდიან კონკრეტული მომხმარებელთა ჯგუფის პრეფერენციებს ბუნებრივი ენის (prompt) სახით. ამის შემდეგ, მოდელი ორ განსხვავებულ სცენარს ადარებს და ეთიკური კრიტერიუმების მიხედვით საუკეთესოს ირჩევს. - რა შედეგები აჩვენა ახალმა მეთოდმა რეალურ ტესტირებაზე?
რეალურ სისტემებზე, როგორიცაა ურბანული ტრაფიკის მართვა და ენერგოქსელები, MIT-ის მიდგომამ იმავე დროში ორჯერ მეტი ოპტიმალური სატესტო ქეისი შექმნა, ვიდრე საბაზისო ტრადიციულმა მოდელებმა. მან ასევე დააფიქსირა ისეთი პრობლემური სცენარები, რომლებიც სხვა მეთოდებმა ვერ აღმოაჩინეს. - რატომ არ არის საკმარისი სტანდარტული დამცავი ბარიერები AI სისტემებში?
როგორც პროფესორი ჩუჩუ ფანი განმარტავს, სტანდარტული წინასწარ დაწერილი წესები იცავს სისტემას მხოლოდ იმ კონკრეტული საფრთხეებისგან, რომელთა წარმოდგენაც შემქმნელებს შეუძლიათ. ახალი სისტემა კი ორიენტირებულია “უცნობი ფაქტორების” პოვნაზე, რათა პოტენციური ეთიკური პრობლემები მანამ აღმოაჩინოს, სანამ ისინი პრაქტიკაში რეალურად გამოვლინდება.
AI მოვლენა - სხვა სტატიები
კოლექტიური კიბერთავდაცვა: OpenAI-ის ღია წერილი
Claude protein design – AI-მ ცილები ავტონომიურად შექმნა
OpenAI-მ AI უსაფრთხოების რისკების შეფასების გუნდი დაშალა
