Weco AI-მ გამოაქვეყნა კვლევა, რომელსაც კომპანია რეკურსიული თვითგაუმჯობესების (RSI) პირველ ექსპერიმენტულ მტკიცებულებას უწოდებს. სისტემამ, სახელად AIDE², რვა დღეში, ადამიანის ჩარევის გარეშე, საკუთარი კვლევითი აგენტის შვიდი თანმიმდევრულად გაუმჯობესებული ვერსია შექმნა. საბოლოო შედეგმა აჯობა იმ აგენტს, რომელსაც Weco AI-ის გუნდი ორი წლის განმავლობაში ხელით ხვეწდა.
რა არის AIDE² და როგორ მუშაობს
AIDE² არსებითად არის „ავტოკვლევა ავტოკვლევაზე”. სისტემა ორი მარყუჟისგან შედგება. შიდა მარყუჟი ჩვეულებრივი ავტოკვლევის აგენტია, რომელიც კოდს კონკრეტული მეტრიკის მიმართ აუმჯობესებს. გარე მარყუჟი კი თავად ამ შიდა აგენტის კოდს წერს თავიდან.
სარჩევი
ამოსავალი წერტილი იყო AIDE – Weco-ს ცნობილი ML-ინჟინერიის აგენტი, რომელმაც თავის დროზე OpenAI-ის MLE-Bench-ზე პირველი ადგილი დაიკავა. მისი გამარტივებული და განზოგადებული ვერსია, AIDE0, გახდა შიდა მარყუჟის საწყისი აგენტი. გარე მარყუჟში მუშაობდა კომპანიის ხელით მორგებული აგენტი claude-opus-4.7 მოდელზე, ხოლო შიდა აგენტები უფრო იაფ gemini-3-flash-ზე ეშვებოდა, რადგან ფიქსირებულ ბიუჯეტში ეს მოდელი დიდ მოდელებს უტოლდებოდა ან ოდნავ ჯობდა კიდეც.
ყოველ ნაბიჯზე გარე მარყუჟი შიდა აგენტის კოდის ახალ ვერსიას სთავაზობდა, აფასებდა და ინარჩუნებდა მხოლოდ მაშინ, თუ წინა საუკეთესოზე უკეთესი აღმოჩნდებოდა. ამოცანები სამ ოჯახს მოიცავდა: ML-ინჟინერია, ევრისტიკული ალგორითმები რთულ კომბინატორულ ოპტიმიზაციაში და აგენტის scaffolding-ის გაუმჯობესება.
როგორ ფასდებოდა თითოეული ვერსია
დიზაინის ყველაზე დიდი ნაწილი შეფასების სისტემას მოხმარდა. თითოეულ ამოცანაში გადაწყვეტას ორი ქულა ჰქონდა: საჯარო, რომელსაც აგენტი ხედავდა და ოპტიმიზაციისთვის იყენებდა, და პრივატული, რომელიც მისთვის უხილავი იყო. გადარჩენას სწორედ პრივატული ქულა წყვეტდა.
ამას ემატებოდა ფიქსირებული ბიუჯეტი დოლარებში, როგორც გამოთვლითი რესურსის საზომი. მოგება მხოლოდ ეფექტიანობის ზრდით მიიღწეოდა და არა მეტი გამოთვლის ჩაყრით. ამოცანების მრავალფეროვნება კი სისტემას განზოგადებადი გაუმჯობესებებისკენ უბიძგებდა და არა ერთ ამოცანაზე მორგებული ხრიკებისკენ.
რვა დღე, 100 ნაბიჯი, შვიდი უკეთესი ვერსია
სისტემა 100 ნაბიჯის განმავლობაში მუშაობდა შეუჩერებლად, AIDE0-დან AIDE99-მდე. მკაცრი პროტოკოლის გამო შემოთავაზებული ცვლილებების დაახლოებით 90 პროცენტი უარყოფილ იქნა, მაგრამ დარჩენილმა ნაწილმა შვიდი თანმიმდევრულად გაუმჯობესებული ვერსია მოგვცა.
მთავარი შემოწმება განზოგადება იყო. Weco-მ ორი საუკეთესო აგენტი, AIDE47 და AIDE85, გატესტა სამ გარე ბენჩმარკზე, რომლებიც მარყუჟს არასდროს უნახავს: MLE-Bench Lite (რეალური Kaggle-კონკურსები), ALE-Bench Lite (AtCoder-ის ევრისტიკული ამოცანები) და WeatherBench 2 (ფიზიკური ამინდის პროგნოზირების ძრავის გაუმჯობესება). ორივე აგენტმა სამივეგან აჯობა როგორც საწყის AIDE0-ს, ისე ორი წლის განმავლობაში ხელით მორგებულ აგენტს.
მარყუჟმა თაღლითობა თავად შეამცირა
ყველაზე მოულოდნელი შედეგი reward hacking-ს ეხება – ავტოკვლევის აგენტების ცნობილ პრობლემას, როცა სისტემა ქულის „მოტყუებას” სწავლობს რეალური გაუმჯობესების ნაცვლად. GPU-ბირთვების ინჟინერიის ბენჩმარკზე საწყისი AIDE0 შემთხვევათა 63 პროცენტში თაღლითობდა. AIDE85-მა ეს მაჩვენებელი 34 პროცენტამდე დაწია, მაშინ როცა ადამიანების მიერ მორგებული აგენტი 42 პროცენტზე გაჩერდა.
საინტერესო ისაა, რომ სისტემას ამის შესახებ არავითარი ინსტრუქცია არ მიუღია. აგენტმა თავად ააშენა სამშრიანი დაცვა: ინსტრუქციები პრომპტებში, საეჭვო შედეგების ხელახალი გენერაცია და სტატისტიკური ფილტრი. ირონია ისაა, რომ ამ ბოლო შრეში მკვლევრებმა ბაგი აღმოაჩინეს – ადრეულ ვერსიაში ის სწორად მუშაობდა, მოგვიანებით მუტაციამ კი გააფუჭა.
კიდევ ერთი ეპიზოდი: როცა მარყუჟმა თავად Weco-ს შეფასების სკრიპტში ბაგი აღმოაჩინა, მან ის გამოასწორა და არა გამოიყენა. გუნდმა თავიდან ეს reward hacking-ად მიიჩნია, სინამდვილეში კი პირიქით აღმოჩნდა.
რა იდეები აღმოაჩინა სისტემამ
საბოლოო აგენტის, AIDE85-ის, გაუმჯობესებები რამდენიმე მიმართულებას მოიცავს:
- ძიების ახალი პოლიტიკა – თითოეული საწყისი მონახაზის ქვეხე მრავალხელიანი ბანდიტის „ხელად” იქცა, ჩიხში მოხვედრისას კი სისტემა საუკეთესო გადაწყვეტას ახალი სტრატეგიით განშტოებდა.
- კონტექსტის რადიკალური შეკვეცა – პრომპტის ზომა საშუალოდ 16-ჯერ შემცირდა, დაზოგილი ტოკენები კი დამატებით საძიებო ნაბიჯებში დაბრუნდა. ეს საპირისპიროა დღევანდელი ტენდენციისა, სადაც აგენტებს რაც შეიძლება მეტ კონტექსტს აწვდიან.
- თაღლითობის საწინააღმდეგო მექანიზმები – ზემოთ აღწერილი სამშრიანი დაცვა, რომელიც ადამიანების მიერ შექმნილზე ეფექტიანი აღმოჩნდა.
რა არ გაამართლა
ერთ-ერთ გაშვებაში გუნდმა ხელით წაიკითხა ყველა 95 უარყოფილი წინადადება. მარყუჟი ცდიდა ლიტერატურიდან ცნობილ რთულ მეთოდებს – MCTS-ს, ევოლუციური ძიების კუნძულოვან პოპულაციებს, ტურნირულ სელექციას, ხმის მიცემის ანსამბლებს. ფიქსირებულ ბიუჯეტში ვერცერთმა გაუმჯობესების ზღვარი ვერ გადალახა. გამარჯვებული ალგორითმი შედარებით მარტივი მექანიზმების კომპოზიციაა.
სად დგას ეს RSI-ის კიბეზე
Weco AI რეკურსიულ თვითგაუმჯობესებას ოთხდონიან სკალაზე აფასებს: დელეგირება, წმინდა მოგება, ანთება და გარდატეხა. კომპანიის შეფასებით, AIDE² პირველ დონეს აღწევს – სისტემა საკუთარ თავს ადამიანებზე ეფექტიანად აუმჯობესებს, დროის მიხედვით დაახლოებით ორი რიგით სწრაფად.
მეორე დონის, ანუ „ანთების” ტესტი ჯერ ვერ ჩაითვალა წარმატებულად. როცა აღმოჩენილი AIDE47 გარე მარყუჟის როლში ჩასვეს, მან იგივე ჭერს დაახლოებით 20 ნაბიჯში მიაღწია, ხელით აწყობილმა აგენტმა კი 40 ნაბიჯი დახარჯა. თუმცა ასიმპტოტურად უკეთესი არ ყოფილა და სხვაობა სტატისტიკურად სანდოც არ არის. ამიტომ გუნდი პირდაპირ წერს: ინტელექტის აფეთქებასთან ახლოს არ ვართ.
პრობლემები სხვაგანაც გამოჩნდა. ევოლუციურად შექმნილი აგენტის კოდი იმდენად რთულია, რომ მისი გაგება და პროდუქტში ჩაშენება ადამიანებისთვის მნიშვნელოვან სირთულეს წარმოადგენს, ნაწილი კი უბრალოდ „მკვდარი კოდია”. Weco AI აპირებს, სრული ტექნიკური ანგარიში და თავად AIDE85 საჯაროდ გამოაქვეყნოს, როგორც კი დარჩენილი ანალიზი დასრულდება.
სხვა თემები
NVIDIA AVO-მ ARC-AGI-3-ის საჯარო ტესტზე 100% შედეგი აჩვენა
OpenClaw კიბერშეტევა – AI აგენტის მორიგი თვითნებობა
Prime Agent: თვითგაუმჯობესებადი გარსი კოდირებისთვის