Andrej Karpathy თანამედროვე ხელოვნური ინტელექტის ერთ-ერთი ყველაზე ცნობილი მკვლევარია. ის არის AI მკვლევარი და Eureka Labs-ის დამფუძნებელი. წარსულში იგი მუშაობდა Tesla-ში AI-ის დირექტორად და ასევე იყო OpenAI-ის ერთ-ერთი დამფუძნებელი წევრი. თავისი აკადემიური გზის მნიშვნელოვანი ნაწილი მან სტენფორდში გაიარა, სადაც მიიღო დოქტორის ხარისხი და გახდა ცნობილი იმითაც, რომ CS231n-ის, ანუ კომპიუტერული ხედვისა და ღრმა სწავლების ერთ-ერთი ყველაზე გავლენიანი კურსის მთავარი არქიტექტორი და ლექტორი იყო. Karpathy-ს სახელი კარგად იციან როგორც მკვლევრებმა, ისე დეველოპერებმა, რადგან მას ყოველთვის ახასიათებდა რთული ტექნიკური იდეების მარტივად, გასაგებად და პრაქტიკულად ახსნა.
მისი გავლენა მხოლოდ აკადემიურ სივრცეში არ შემოიფარგლება. Karpathy წლების განმავლობაში აქტიურად მუშაობდა ისეთ თემებზე, როგორიცაა ნეირონული ქსელები, კომპიუტერული ხედვა, ენოვანი მოდელები, ღრმა სწავლების პრაქტიკული არქიტექტურები და AI სისტემების რეალურ პროდუქტებში ინტეგრაცია. სწორედ ამიტომ, როდესაც ის ახალ პროექტს აქვეყნებს, ამას ყურადღებით აკვირდებიან როგორც ინდუსტრიის პროფესიონალები, ისე ენთუზიასტები, რომლებიც ცდილობენ გაიგონ, საით მოძრაობს თანამედროვე AI კვლევა.
სარჩევი
რა შექმნა Andrej Karpathy-მ ამჯერად
Karpathy-მ ახლახან გამოყო თავისი “autoresearch” პროექტი დამოუკიდებელ, მინიმალისტურ რეპოზიტორიად, რომელიც GitHub-ზეა ხელმისაწვდომი. მისი აღწერით, ეს არის nanochat-ის LLM training core-ის გამარტივებული, ერთ GPU-ზე გაშვებადი, ერთფაილიანი ვერსია, რომლის ბირთვიც დაახლოებით 630 ხაზ კოდში ეტევა. ამ პროექტის მთავარი იდეა ის არის, რომ ადამიანი აღარ ერთვება უშუალოდ Python კოდის მექანიკურ შესწორებაში ისე, როგორც ჩვეულებრივ კვლევით პროცესში ხდებოდა. ამის ნაცვლად, ადამიანი მუშაობს ტექსტურ ინსტრუქციებზე, ანუ prompt-ის ტიპის Markdown ფაილზე, ხოლო AI აგენტი ცვლის თავად training კოდს და ცდილობს, ყოველ ახალ გაშვებაზე უკეთესი შედეგი მიიღოს.
ეს მიდგომა განსაკუთრებით საინტერესოა იმიტომ, რომ აქ კვლევა წარმოდგენილია როგორც ავტომატიზებული ციკლი. სისტემას ეძლევა მცირე, მაგრამ რეალური LLM training setup. აგენტი ცვლის კოდს, ატარებს გაწვრთნას, ამოწმებს შედეგს, აფასებს გაუმჯობესდა თუ არა მეტრიკა და ამის მიხედვით ან ინარჩუნებს ცვლილებას, ან აბრუნებს წინა მდგომარეობას. ყველაფერი ეს ხდება git feature branch-ზე, სადაც აგენტი აგროვებს commit-ებს და ეტაპობრივად ცდილობს იპოვოს უკეთესი კონფიგურაციები. Karpathy-ს აღწერით, მთავარი მიზანია ისეთი აგენტების შექმნა, რომლებიც კვლევით პროგრესს მაქსიმალურად სწრაფად და შეუფერხებლად განაგრძობენ პრაქტიკულად ადამიანის პირდაპირი ჩარევის გარეშე.
რას აკეთებს “autoresearch” პრაქტიკაში
თუ ამ პროექტს ძალიან მარტივი ენით ავხსნით, “autoresearch” არის ჩარჩო, სადაც AI აგენტი მოქმედებს როგორც ახალგაზრდა მკვლევარი, რომელსაც მკაფიო ინსტრუქცია აქვს, შეზღუდული რესურსი აქვს და უწყვეტად ტესტავს ჰიპოთეზებს. მას არ ევალება ახალი თეორიების ფილოსოფიური ფორმულირება. მისი ამოცანაა ბევრჯერ, სწრაფად და მკაცრი წესებით გამოცადოს მცირე ცვლილებები training script-ში და ნახოს, რომელი მათგანი ამცირებს validation loss-ს ან სხვა საზომს უკეთესად.
რეპოზიტორიაში აღწერილია, რომ იდეა აგებულია ხუთწუთიან ციკლებზე. თითოეული წერტილი პროგრესის გრაფიკში წარმოადგენს LLM training run-ს, რომელიც ზუსტად ხუთ წუთს გრძელდება. ეს შეზღუდვა შემთხვევითი არ არის. ხანმოკლე, ფიქსირებული დროის ფანჯარა აძლევს სისტემას საშუალებას სწრაფად შეადაროს მრავალი ვარიანტი და არ ჩაიკარგოს ძალიან ძვირადღირებულ ექსპერიმენტებში. როდესაც ყოველი ცდა ერთნაირ დროში მიმდინარეობს, უფრო ადვილი ხდება prompt-ების, აგენტების ქცევისა და კოდის ცვლილებების შედარება.
ამ პროცესში AI აგენტი ცვლის ისეთ კომპონენტებს, როგორიცაა ნეირონული ქსელის არქიტექტურა, ოპტიმიზატორი, ჰიპერპარამეტრები და სხვა training-related პარამეტრები. შემდეგ სისტემა ზომავს მიღებულ შედეგს. თუ შედეგი უკეთესია, ცვლილება ინახება; თუ არა, იგი არ გრძელდება. სწორედ ამიტომ “autoresearch” არ არის უბრალოდ კოდის გენერაციის თამაში. ეს უფრო ახლოს დგას ავტომატიზებულ empirical research-თან, სადაც პროგრესი იზომება კონკრეტული შედეგით და არა შთამბეჭდავი ტექსტით.
რა როლი აქვს ადამიანს ამ სისტემაში
Karpathy-ს ხედვაში ადამიანის როლი მთლიანად არ ქრება, მაგრამ მნიშვნელოვნად იცვლება. ადამიანი აქ ნაკლებად არის ის, ვინც თითოეული ექსპერიმენტის ტექნიკურ დეტალებს ხელით ასწორებს. მის ნაცვლად, ადამიანი ქმნის კვლევით გარემოს, წყვეტს წესებს, აყალიბებს ინსტრუქციას და აუმჯობესებს იმ Markdown ფაილს, რომელიც აგენტს მიმართულებას აძლევს. ანუ ადამიანი აღარ არის მიკრომენეჯერი, რომელიც ყველა ხაზს ხელით ცვლის; ის უფრო ხდება სისტემის დიზაინერი, რომელიც წყვეტს, როგორ იფიქროს და იმუშაოს მისმა აგენტმა.
ეს ცვლილება ძალიან მნიშვნელოვანი იდეაა. კლასიკურ კვლევით სამუშაოში მკვლევარი თვითონ არჩევს, რა შეცვალოს მოდელში, თვითონ წერს კოდს, თვითონ ადარებს შედეგებს და თვითონ ქმნის მომდევნო ჰიპოთეზას. “autoresearch”-ში ამ ჯაჭვის მნიშვნელოვანი ნაწილი AI აგენტს გადაეცემა. შედეგად, ადამიანის მთავარი ამოცანა ხდება არა მხოლოდ მოდელის გაუმჯობესება, არამედ თავად კვლევითი პროცესის გაუმჯობესება. სხვა სიტყვებით, ფოკუსი გადადის კოდიდან კვლევის ოპერაციულ დიზაინზე.
რატომ არის ეს პროექტი მნიშვნელოვანი
ამ პროექტის მნიშვნელობა იმაში არ მდგომარეობს, რომ მან თითქოს მთლიანად შეცვალა სამეცნიერო კვლევა. უფრო ზუსტია ითქვას, რომ მან ძალიან მკაფიოდ აჩვენა ერთი ტენდენცია: AI აგენტები უკვე შეიძლება გამოყენებულ იქნას როგორც გამეორებადი, სწრაფი და საზომზე ორიენტირებული კვლევითი ოპერატორები. განსაკუთრებით იმ ამოცანებში, სადაც არსებობს მკაფიო objective function და შესაძლებელია ბევრი მცირე ექსპერიმენტის ერთმანეთთან შედარება.
ხელოვნურ ინტელექტში პროგრესი ხშირად მოდის არა მხოლოდ ერთი დიდი იდეიდან, არამედ უამრავი მცირე გაუმჯობესებიდან. ზოგჯერ მცირე ცვლილება learning rate-ში, optimizer-ის პარამეტრებში, ქსელის სიღრმეში ან რეგულარიზაციაში იძლევა მნიშვნელოვან სხვაობას. ადამიანისთვის ამდენი ვარიანტის ხელით ტესტირება დამღლელია, ძვირი და ნელი. აგენტისთვის კი ასეთი განმეორებადი სამუშაო ბუნებრივ გარემოდ იქცევა, განსაკუთრებით მაშინ, როდესაც წესები მკაფიოა და შეფასების კრიტერიუმი წინასწარ არის განსაზღვრული.
“autoresearch” სწორედ ამ იდეას აქცევს პრაქტიკულ სისტემად. ის არ ამტკიცებს, რომ აგენტმა უკვე ჩაანაცვლა მეცნიერი. მაგრამ იგი აჩვენებს, რომ კვლევის გარკვეული ტიპის ოპტიმიზაცია შეიძლება გაიტანო ავტომატურ რეჟიმში. ეს განსაკუთრებით მნიშვნელოვანია მცირე გუნდებისთვის, დამოუკიდებელი მკვლევრებისთვის და დეველოპერებისთვის, რომლებსაც არ აქვთ უსასრულო გამოთვლითი რესურსი, მაგრამ სურთ სწრაფად შეადარონ მრავალი ექსპერიმენტი.
რისი სწავლა შეუძლია ამ პროექტიდან დეველოპერს და კონტენტის მკითხველს
ამ პროექტიდან ერთ-ერთი მთავარი გაკვეთილი ის არის, რომ თანამედროვე AI სამყაროში prompt უკვე მხოლოდ ტექსტური ინსტრუქცია აღარ არის. იგი შეიძლება გადაიქცეს კვლევითი ინფრასტრუქტურის ნაწილად. როდესაც ადამიანი აუმჯობესებს program.md-ს ან სხვა მსგავს ინსტრუქციულ ფაილს, იგი რეალურად აყალიბებს აგენტის ქცევას, პრიორიტეტებს, ექსპერიმენტების ლოგიკას და კვლევითი კულტურის მსგავს რამესაც კი. სწორედ ამიტომ Karpathy პირდაპირ მიუთითებს, რომ შესაძლებელია ერთმანეთთან შევადაროთ არა მხოლოდ სხვადასხვა აგენტი, არამედ სხვადასხვა prompt-იც და ვნახოთ, რომელი მათგანი უფრო სწრაფ კვლევით პროგრესს იძლევა.
ეს მიდგომა საინტერესოა იმითაც, რომ აქ პროგრამირება ნაწილობრივ გადადის მეტა-დონეზე. დეველოპერი აღარ მუშაობს მხოლოდ მოდელის კოდზე. ის მუშაობს იმ წესებზე, რომლითაც სხვა სისტემა ცვლის ამ კოდს. ეს უკვე უფრო მაღალი დონის საინჟინრო ამოცანაა და სწორედ აქ ჩანს Karpathy-ს სტილი: მინიმალური, გასაგები და რეალური მაგალითით აჩვენოს, როგორ შეიძლება აბსტრაქტული AI იდეა ხელშესახებ ინსტრუმენტად იქცეს.
არსებობს თუ არა შეზღუდვები
რა თქმა უნდა, “autoresearch” ჯადოსნური სისტემა არ არის. მისი ძალა ყველაზე კარგად ჩანს ისეთ გარემოში, სადაც პრობლემა მკაფიოდ არის განსაზღვრული, მეტრიკა გაზომვადია და ბევრი მოკლე ექსპერიმენტის ჩატარება შესაძლებელია. უფრო ფართო მეცნიერულ კვლევაში, სადაც მნიშვნელოვანია თეორიული ინტუიცია, მონაცემთა შერჩევა, ექსპერიმენტის დიზაინის ღრმა აზრი ან რეალური სამყაროს რთული ინტერპრეტაცია, ადამიანის როლი ჯერ ისევ გადამწყვეტია.
ასევე მნიშვნელოვანია, რომ ამ პროექტის დემო-ხასიათი და მინიმალისტური დიზაინი მის ძლიერ მხარესაც წარმოადგენს და შეზღუდვასაც. ერთ მხრივ, მარტივი კოდი ძალიან კარგია იმისთვის, რომ ბევრმა ადამიანმა სწრაფად გაიგოს იდეა და სცადოს საკუთარი გარემოში. მეორე მხრივ, რეალური საწარმოო კვლევითი სისტემები ბევრად უფრო რთულია, მოითხოვს მეტ კონტროლს, უსაფრთხოების მექანიზმებს, რესურსების მართვას და შედეგების სიღრმისეულ ანალიზს.
Andrej Karpathy-ს “autoresearch” საინტერესოა არა იმიტომ, რომ იგი ხმაურიან დაპირებებს გვაძლევს, არამედ იმიტომ, რომ გვაჩვენებს ძალიან კონკრეტულ და პრაქტიკულ მიმართულებას. ეს არის ხედვა, სადაც AI აგენტი ხდება არა უბრალოდ კოდის დამწერი, არამედ ექსპერიმენტების განმეორებადი შემსრულებელი, რომელიც პატარა, სწრაფ და გაზომვად ნაბიჯებში ცდილობს უკეთესი შედეგის მიღწევას. ადამიანი ამ სურათში აღარ არის მხოლოდ ის, ვინც training script-ის თითოეულ ხაზს ხელით არედაქტირებს. ადამიანი ხდება იმ სისტემის არქიტექტორი, რომელიც კვლევით პროცესს აყალიბებს.
თუ გავითვალისწინებთ Karpathy-ს გამოცდილებას Tesla-ში, OpenAI-ში, სტენფორდში და ზოგადად AI განათლებაში, გასაგებია, რატომ მიიპყრო ამ პროექტმა დიდი ყურადღება. იგი აერთიანებს სამ რამეს, რაც მას ხშირად ახასიათებს: ტექნიკურ სიზუსტეს, მინიმალისტურ დიზაინს და დიდ იდეას, რომელიც პრაქტიკულ ფორმაშია ჩამოსხმული. “autoresearch” ჯერ არ ნიშნავს სრულად ავტონომიურ მეცნიერებას, მაგრამ ნამდვილად არის მნიშვნელოვანი ნაბიჯი იმ მიმართულებით, სადაც AI აგენტები არა მხოლოდ პასუხებს წერენ, არამედ სისტემურად, უწყვეტად და დისციპლინირებულად ეძებენ უკეთეს გადაწყვეტილებებს.
AI აგენტები - სხვა სტატიები
NVIDIA AVO-მ ARC-AGI-3-ის საჯარო ტესტზე 100% შედეგი აჩვენა
OpenClaw კიბერშეტევა – AI აგენტის მორიგი თვითნებობა
Prime Agent: თვითგაუმჯობესებადი გარსი კოდირებისთვის