კომპანია OpenAI-მ ახალი ბენჩმარკი წარადგინა – GeneBench-Pro, რომელიც ამოწმებს, რამდენად კარგად ართმევენ თავს AI აგენტები არეულ ბიოლოგიურ მონაცემებს. მთავარი კითხვა ფაქტების დამახსოვრება არ არის. საკითხავია, შეუძლია თუ არა მოდელს აირჩიოს ანალიზის სწორი გზა და მიიღოს ის გადაწყვეტილებები, რომლებზეც რეალური გამოთვლითი კვლევა დგას.
რას ამოწმებს GeneBench-Pro
სამეცნიერო მონაცემები იშვიათად მოდის ინსტრუქციით. მკვლევარს თავად უწევს გადაწყვიტოს, კანონზომიერებაა თუ ხმაური, შეესაბამება თუ არა მონაცემები დასმულ კითხვას და როგორ უნდა შეცვალოს ყოველმა შედეგმა შემდეგი ნაბიჯი.
სარჩევი
სწორედ ამ ტიპის მსჯელობას ზომავს GeneBench-Pro. ის აფართოებს ადრინდელ ბენჩმარკ GeneBench-ს და მოიცავს უფრო რთულ, რეალურთან მიახლოებულ ამოცანებს გენომიკაში, რაოდენობრივ ბიოლოგიასა და ტრანსლაციურ მედიცინაში.
OpenAI-ის თქმით, დღემდე იშვიათად თუ ფასდებოდა ის სისტემური მსჯელობა, რაც რეალურ კვლევას ართულებს – გაურკვევლობასთან გამკლავება, ვარაუდების გადახედვა, სწორი ანალიტიკური გზის არჩევა და იმის გაგება, როდის არის შედეგი გადაწყვეტილების მისაღებად მზად.
129 ამოცანა ათ სფეროში
GeneBench-Pro მოიცავს 129 ამოცანას, რომლებიც გადანაწილებულია 10 სფეროსა და 21 ქვესფეროზე. დიაპაზონი მოიცავს:
- სტატისტიკურ, პოპულაციურ და რაოდენობრივ გენეტიკას
- მარეგულირებელ ომიქსსა და ფუნქციურ გენომიკას
- პროტეომიკასა და ბიომარკერებს
- კლინიკურ დიაგნოსტიკასა და ფარმაკოგენომიკას
- კიბოს, მიკრობულ და სასამართლო გენომიკას
თითოეული ამოცანა მოდელს აძლევს რეალურ, არეულ მონაცემთა ნაკრებს, მოკლე ექსპერიმენტულ კონტექსტს და კონკრეტულ სამიზნეს, რომელიც დაკავშირებულია რეალურ გადაწყვეტილებასთან. სწორი პასუხისთვის მოდელმა მონაცემები უნდა შეისწავლოს, შესაბამისი მიდგომა აირჩიოს, იტერაციულად იმუშაოს და საბოლოო პასუხი გასცეს.
OpenAI ამ უნარს “research taste”-ს უწოდებს – ანუ იმ მსჯელობით ჯაჭვს, რომელიც აყალიბებს, რა კითხვებზე პასუხის გაცემა შეუძლია მონაცემებს და როდის სჭირდება საწყის გეგმას გადახედვა.
როგორ შენდება მონაცემები
თითოეული ამოცანა სინთეზურადაა აგებული. OpenAI-მ იცის სრული მიზეზობრივი სტრუქტურა და თავად მოდელირებს მონაცემთა წარმოქმნის პროცესს. ეს მათ საშუალებას აძლევს, ზუსტად დაარეგულირონ თითოეული ამოცანის სირთულე.
ასეთი მიდგომა ბენჩმარკის ტიპურ პრობლემებს არიდებს. არეულ ისტორიულ მონაცემებზე აგებულ ამოცანებში ხშირად რამდენიმე თანაბრად დასაშვები გზა არსებობს, რაც უფრო ავტორის არჩევანს ასახავს, ვიდრე მოდელის რეალურ შესაძლებლობებს. პირიქითაც ხდება – თუ ამოცანა ციფრებისადმი მგრძნობელობას მოკლებულია, აგენტმა შესაძლოა ფუნდამენტური შეცდომა დაუშვას და მაინც გაიაროს.
ამის თავიდან ასაცილებლად OpenAI ablation-კვლევებით ამოწმებს, რომ დამაჯერებელი, მაგრამ მცდარი ანალიზი ჩავარდეს, ხოლო ამოცანების მონახაზებს ამოწმებს ინფორმაციის გაჟონვასა და გვერდის ავლის გზებზე. 129-დან 82 ამოცანა გარე ექსპერტებს – დოქტორანტებს, პოსტდოქტორანტებს, ინდუსტრიის მეცნიერებსა და პროფესორებს – გადაუგზავნეს შესაფასებლად.
როგორ ფასდება მოდელები
GeneBench-Pro-ში თითოეული ამოცანა დახურული, დამოუკიდებელი სამეცნიერო ანალიზია. აგენტი იღებს იზოლირებულ სამუშაო გარემოს მოკლე დავალებით, მონაცემთა ფაილებითა და სტანდარტული ბიოინფორმატიკული ინსტრუმენტებით, მათ შორის Python-ითა და გენომიკის პაკეტებით, როგორიცაა PLINK 2.0.
რადგან OpenAI მონაცემთა წარმოქმნის მთელ პროცესს აკონტროლებს, შედეგებს დეტერმინისტულად, ცნობილ სამიზნეებთან აფასებს. ეს გამორიცხავს იმ ცვალებადობას, რომელიც სუბიექტურ, რუბრიკაზე დაფუძნებულ შეფასებას ახასიათებს.
კომპანია 10 წარმომადგენლობით ამოცანას ღიად აქვეყნებს პლატფორმა Hugging Face-ზე, ხოლო 50 ამოცანის ქვენაკრებს დამოუკიდებელი შეფასებისთვის Artificial Analysis-ს გადასცემს.
GeneBench-Pro-ის შედეგები
OpenAI-ის უძლიერესი მოდელი, GPT-5.6 Sol, მსჯელობის უმაღლეს დონეზე ამოცანების 28.7%-ს ხსნის, ხოლო Pro რეჟიმით – 31.5%-ს. ეს მკვეთრი ზრდაა: როცა თავდაპირველ GeneBench-ზე მუშაობას იწყებდნენ, მათი საუკეთესო მოდელი GPT-5 5%-საც ვერ აღწევდა.
OpenAI-ის შეფასებით, ამ ტემპით ბენჩმარკი წლის ბოლომდე შესაძლოა გაჯერდეს, ანუ მოდელებმა მისი ამოწურვა შეძლონ. შედეგები ასევე აჩვენებს გამოთვლითი რესურსის მნიშვნელობას – მსჯელობის დაბალ დონეზე იგივე GPT-5.6 Sol მხოლოდ ერთნიშნა შედეგს იღებს, უმაღლეს დონეზე კი თითქმის ექვსჯერ მეტ ამოცანას ხსნის, ვიდრე GPT-5.2, თანაც ნაკლები ტოკენის ხარჯვით.
კომპანიის მონაცემებით, GPT-მოდელები ერთ-ერთი ყველაზე ძლიერია გაურკვევლობის პირობებში სამეცნიერო მსჯელობაში. სხვაობა GPT-5.6-სა და წამყვან ღია მოდელებს, მაგალითად GLM 5.2-ს შორის, საგრძნობლად აღემატება იმას, რასაც კოდირების ბენჩმარკები ვარაუდობდნენ – ეს მიანიშნებს, რომ ღია მოდელები უფრო კოდირებაზეა მორგებული, ვიდრე ფართო მსჯელობაზე.
რას ნიშნავს ეს მედიცინისა და კვლევისთვის
OpenAI-ის გამოკითხვაში ექსპერტებმა შეაფასეს, რომ ერთი ტიპური ამოცანის გადაჭრას ადამიან სპეციალისტს დაახლოებით 20-40 საათი დასჭირდებოდა. საათში 200 დოლარის კონსერვატიული ანგარიშითაც ერთი ამოცანის ღირებულება ათასობით დოლარს აღწევს, მაშინ როცა მოდელის გაშვება მხოლოდ რამდენიმე დოლარი ჯდება.
ამავდროულად, აგენტები ჯერ კიდევ ვერ ცვლიან ექსპერტებს. მოდელებს შეუძლიათ ნაწილობრივი წინსვლა, მაგრამ უჭირთ მსჯელობის ჯაჭვის ბოლომდე მიყვანა – ეს ზუსტად ის სხვაობაა, რაც გამოცდილ მკვლევარს დამწყებისგან განასხვავებს.
გენეტიკური მტკიცებულება უკვე ცენტრალურია წამლის სამიზნეების შერჩევაში, რადგან გენეტიკურად გამყარებული მექანიზმები გაცილებით ხშირად აღწევს დამტკიცებულ მკურნალობამდე. თუ აგენტები ამ ტიპის ანალიზის საიმედოდ ავტომატიზებას შეძლებენ, ეს კვლევის ტემპს მნიშვნელოვნად დააჩქარებს.
დასკვნა
GeneBench-Pro ყურადღებას იმაზე ამახვილებს, თუ როგორ მსჯელობს მოდელი და არა უბრალოდ იმაზე, რამდენი ფაქტი იცის. საუკეთესო მოდელიც კი ამოცანების მესამედზე ნაკლებს ხსნის, რაც აჩვენებს, რომ წინსვლის დიდი სივრცე ჯერ კიდევ არსებობს. თუმცა პროგრესის ტემპი მიანიშნებს, რომ სამეცნიერო მსჯელობის ეს რთული, სისტემური უნარები სწრაფად ვითარდება – და ეს განსაკუთრებით მნიშვნელოვანია ბიოლოგიაში, სადაც შემაფერხებელი ფაქტორი უკვე მონაცემების შეგროვება კი აღარ არის, არამედ მათი ანალიზი.
სხვა თემები
Claude – Anthropic-ის AI ასისტენტი
OpenAI-მ AI უსაფრთხოების რისკების შეფასების გუნდი დაშალა
AI-სიახლეები: როგორ ვითარდება ინდუსტრია