AI აგენტის გავლენა ექსპერტის გადაწყვეტილებებზე გაცილებით დიდი შეიძლება იყოს, ვიდრე თავად ექსპერტს ჰგონია. ამას აჩვენებს Anthropic-ის ახალი კვლევა, რომელშიც 50 პროფესიონალმა ანალიტიკოსმა სტატისტიკური ანალიზი Claude Code-თან ერთად შეასრულა. ოთხ საკვანძო არჩევანში ანალიტიკოსები აგენტის მოსაზრებას შემთხვევების 86%-ში დაეთანხმნენ, თუმცა აგენტის „პოზიცია“ წინასწარ, მონეტის აგდებით იყო შერჩეული. კვლევის შედეგები Anthropic-მა ოფიციალურ ვებ-გვერდზე გამოაქვეყნა.
როგორ შეისწავლეს AI აგენტის გავლენა
კვლევაში 61 ანალიტიკოსი მონაწილეობდა, რომლებსაც მიზეზშედეგობრივი ანალიზის (causal inference) გამოცდილება ჰქონდათ და Python-ს ან R-ს რეგულარულად იყენებდნენ. 11-მა აგენტის გამოყენებაზე უარი თქვა, ამიტომ ძირითად ანალიზში 50 ადამიანი მოხვდა. მათი 65%-ს მაგისტრის ან დოქტორის ხარისხი ან ექვს წელზე მეტი გამოცდილება ჰქონდა. ისინი მუშაობდნენ VS Code-ის ვებ-ვერსიაში, რომელშიც ჩაშენებული იყო Claude Code, Claude Opus 4.8 მოდელით.
სარჩევი
დავალება გამოგონილ ფერმერულ კოოპერატივს ეხებოდა: უნდა შეეფასებინათ, რამდენად ეფექტიანია ფერმერებისთვის განკუთვნილი საკონსულტაციო პროგრამა და ღირს თუ არა მისი გაფართოება. კოოპერატივის გამგეობა პროგრამას მხოლოდ მაშინ გააფართოებდა, თუ ის პროდუქტიულობას დაახლოებით 3–4%-ით გაზრდიდა. ამისთვის ანალიტიკოსებს ოთხი არჩევანი უნდა გაეკეთებინათ, სადაც ორივე ვარიანტი გონივრული იყო: როგორ გაზომონ პროდუქტიულობა, რომელი შედარების მეთოდი აირჩიონ, რომელ ფერმებს მოიცავდეს შეფასება და როგორ მიანიჭონ ფერმებს წონა.
მთავარი ხრიკი ისაა, რომ თითოეული ანალიტიკოსის აგენტს თითოეულ საკითხზე ფარული „მიდრეკილება“ მიეცა, რომელიც მონეტის აგდებით განისაზღვრა. აგენტმა ეს სისტემური პრომპტით მიიღო: უნდა დაეცვა თავისი პოზიცია საუკეთესო პატიოსანი არგუმენტებით, აზრი შეეცვალა, თუ მონაცემები საპირისპიროს აჩვენებდა, და არასდროს მოეტყუებინა მომხმარებელი. მონაწილეებმა ამის შესახებ არ იცოდნენ.
მთავარი შედეგები: 86% და 77%
თუ AI აგენტის გავლენა არ არსებობდა, ანალიტიკოსების არჩევანი მის „მიდრეკილებას“ შემთხვევების დაახლოებით 50%-ში უნდა დამთხვეოდა. რეალურად კი დამთხვევა 86% იყო: 92% პროდუქტიულობის საზომზე, 82% შედარების მეთოდზე, 81% ფერმების შერჩევაზე და 90% წონების მინიჭებაზე. როცა ანალიტიკოსს საკუთარი აზრი უკვე გამოთქმული ჰქონდა, აგენტის საწინააღმდეგო პოზიციის შემდეგ მან არჩევანი 60%-ში შეცვალა, ხოლო თანხმობის შემთხვევაში მხოლოდ 6%-ში.
საბოლოო რეკომენდაციაზე, გაფართოებულიყო თუ არა პროგრამა, AI აგენტის გავლენა უფრო სუსტი იყო: როცა აგენტი გაფართოებას უჭერდა მხარს, ანალიტიკოსების 54%-მა ურჩია გამგეობას გაფართოება, საპირისპირო შემთხვევაში კი 36%-მა. თუმცა მკვლევრების თქმით, ამ დროისთვის აგენტს შეფასება უკვე „ჩამოყალიბებული“ ჰქონდა. მხოლოდ ოთხი შემთხვევითი მიდრეკილების მიხედვით სტატისტიკურმა მოდელმა ანალიტიკოსების საბოლოო რეკომენდაციების 82% სწორად იწინასწარმეტყველა.
ყველაზე საგულისხმო დეტალი კი ახსნებს ეხება. დავალების შემდეგ მონაწილეების 77%-მა საკუთარი არჩევანი აგენტის არგუმენტებით ახსნა, ზოგჯერ სიტყვასიტყვით, მაგრამ აგენტი წყაროდ მხოლოდ 15%-მა მოიხსენია. გარდა ამისა, ანალიტიკოსების 52%-მა საბოლოო რეკომენდაცია უფრო საკუთრად მიიჩნია, ვიდრე აგენტისად. გამოცდილებამ და ექსპერტიზამ ვერ იწინასწარმეტყველა, ვინ მიჰყვებოდა აგენტს.
AI-ს უარყოფა არც გამოსავალია
Anthropic ხაზს უსვამს, რომ ეს AI-ის წინააღმდეგ გაფრთხილება არ არის. 11 ანალიტიკოსიდან, რომლებიც აგენტის გარეშე მუშაობდნენ, ექვსმა (55%) სერიოზული მეთოდოლოგიური შეცდომა დაუშვა, აგენტის მომხმარებლებში კი ასეთი მხოლოდ სამი იყო 50-დან (6%). აგენტის გარეშე მომუშავეებს დავალებაზე საშუალოდ 90 წუთი დასჭირდათ, დანარჩენებს 65. თუმცა ავტორები აღნიშნავენ, რომ ეს ჯგუფი პატარა და ნაკლებად გამოცდილი იყო, ამიტომ პირდაპირი შედარება ფრთხილად უნდა გაკეთდეს.
კვლევას შეზღუდვებიც აქვს: აგენტის მიდრეკილება განზრახ იყო გაძლიერებული, დავალება ერთი იყო, ერთ სფეროში და ერთი მოდელით. მიდრეკილების მიცემის გარეშე Claude Opus 4.8-მა 123 ცდიდან 112-ში ერთი და იგივე ხუთი არჩევანი გააკეთა, ანუ რეალურ აგენტებსაც აქვთ საკუთარი „ნაგულისხმევი“ პოზიციები.
რატომ არის ეს მნიშვნელოვანი
მკვლევრების თქმით, AI აგენტის გავლენა რთულად შესამჩნევია: თუ ექსპერტები აგენტებს შეუმჩნევლად ენდობიან, აგენტის შემთხვევითი ან მიკერძოებული მოსაზრებები პოლიტიკის და კვლევის მნიშვნელოვან გადაწყვეტილებებს განსაზღვრავს ისე, რომ ეს არავის აურჩევია. თუ სხვადასხვა კვლევითი გუნდი ერთი და იმავე მოდელს ეყრდნობა, მათი „დამოუკიდებელი“ თანხმობა შეიძლება ერთი მოდელის აზრს ასახავდეს. ეს განსაკუთრებით მწვავეა AI-ის უსაფრთხოების და ალაინმენტის კვლევაში, სადაც ადამიანის შემოწმება მხოლოდ მაშინ არის დამოუკიდებელი, თუ მისი აზრი ნამდვილად საკუთარია.
Anthropic სამ მიმართულებას გვთავაზობს: ყოველდღიურ სამუშაოში AI აგენტის გავლენის გაზომვას, აგენტების ისე შექმნას, რომ ყველა ვარიანტის საუკეთესო არგუმენტი წარმოადგინონ ან ექსპერტს ჯერ მისი აზრი ჰკითხონ, და ორგანიზაციებში იმის მკაფიოდ განსაზღვრას, რომელი გადაწყვეტილება მოითხოვს ადამიანის დამოუკიდებელ განსჯას. მსგავს საფრთხეებზე ადრეც ვწერდით, როცა Microsoft-მა AI აგენტები „შიდა საფრთხედ“ განიხილა. Anthropic-ის აგენტების სხვა მიმართულებაზე წაიკითხეთ ჩვენი სტატია Claude Duet-ის შესახებ, ხოლო ტერმინის განმარტება იხილეთ ლექსიკონში: AI აგენტი.
შეჯამება
Anthropic-ის კვლევა აჩვენებს, რომ AI აგენტის გავლენა ყველაზე ძლიერად იქ ჩანს, სადაც ერთი სწორი პასუხი არ არსებობს: გამოცდილი ანალიტიკოსებიც კი ადვილად იზიარებენ აგენტის პოზიციას და შემდეგ მას საკუთარად მიიჩნევენ. ძლიერი მხარე რანდომიზებული დიზაინია, რომელიც გავლენას პირდაპირ ზომავს, სუსტი კი ის, რომ აგენტის მიდრეკილება განზრახ იყო გაძლიერებული და დავალება მხოლოდ ერთი. ქართველი მომხმარებლისთვის, რომელიც ChatGPT-ს, Claude-ს ან სხვა აგენტს სამუშაოში იყენებს, პრაქტიკული დასკვნა მარტივია: მნიშვნელოვან საკითხზე ჯერ საკუთარი აზრი ჩამოაყალიბეთ და აგენტს საწინააღმდეგო ვარიანტის არგუმენტებიც სთხოვეთ.
წყაროები
სხვა თემები
ექსპონენციალური დროის ჰიპოთეზა: Anthropic-ის Claude-მაც 3-SAT-ის ახალი ალგორითმი იპოვა
Anthropic წამლების შექმნაში: Claude ექვს პარტნიორთან და საკუთარ პროგრამებზე მუშაობს
ხელოვნური ინტელექტი კვანტურ ფიზიკაში: PSI-მ 5 ღია ამოცანაზე ახალი შედეგები წარადგინა