NVIDIA-მ რობოტებისთვის ახალი AI მოდელი GR00T 2 წარადგინა. მისი მთავარი სიახლე ისაა, რომ მოქმედებამდე მოდელი ჯერ წარმოიდგენს, როგორ უნდა შეიცვალოს გარემო, შემდეგ კი რობოტისთვის საჭირო მოძრაობებს გეგმავს. ტექნოლოგია 9 ნოემბერს, ოსტინში, რობოტიკის კონფერენცია CoRL-ზე აჩვენეს.
NVIDIA-ს მიზანია, რობოტებს ახალი საქმეების სწავლა გაუმარტივოს. GR00T 2-ს შეუძლია, გამოცდილება ადამიანების ჩვეულებრივი ვიდეოებიდანაც მიიღოს და შემდეგ ეს ცოდნა სხვადასხვა ტიპის რობოტზე გამოიყენოს. კომპანიის ტესტებში ახალ დავალებაზე წარმატების საშუალო მაჩვენებელი მხოლოდ ერთი ჩვენების შემდეგ 71% იყო, ხუთი ჩვენების შემდეგ კი 95%-ს მიაღწია.
სარჩევი
კომპანია GR00T 2-ს „სამყაროსა და მოქმედების მოდელს“ (world-action model) უწოდებს. ის NVIDIA Cosmos-ის ტექნოლოგიაზეა აგებული და სხვადასხვა მოწყობილობას ერგება: რობოტულ მკლავებს, ხუთთითიან ხელებსა და ჰუმანოიდ რობოტებს. მოდელს მოძრაობის სწავლა ადამიანის ვიდეოდანაც შეუძლია, მაშინაც კი, როცა ჩანაწერს რობოტისთვის განკუთვნილი ბრძანებები არ ახლავს.
როგორ მუშაობს GR00T 2?
GR00T 2 კამერის ბოლო 0,8 წამის კადრებს, დავალების ტექსტსა და რობოტის მიმდინარე მდგომარეობას იღებს. ამის საფუძველზე ერთი ნეირონული ქსელი, დიფუზიური ტრანსფორმერი, ერთდროულად ქმნის ორ რამეს: მოკლე ვიდეოს, სადაც გარემოს სავარაუდო მომავალი მდგომარეობაა ნაჩვენები, და მოძრაობების სერიას, რომელიც რობოტმა უნდა შეასრულოს.
რობოტი ამ მოძრაობებს ასრულებს, კამერით ახალ კადრებს იღებს და გეგმას ისევ აახლებს. თითოეული ტიპის რობოტისთვის გამოიყენება დამატებითი მცირე კომპონენტი, რომელიც საერთო გეგმას მისი კონკრეტული სახსრების ბრძანებებად გარდაქმნის.
სხვა სისტემებისგან განსხვავებით, რომლებიც კამერის გამოსახულების მიხედვით პირდაპირ მოძრაობას არჩევენ, GR00T 2 წინასწარ ვარაუდობს მოქმედების შედეგსაც. NVIDIA-ს კვლევით გვერდზე განმარტებულია, რომ დემონსტრაციებში ნაჩვენები მომავლის კადრები მოდელის გენერირებულია და რეალურად გადაღებული არ არის.
რას აჩვენებს ტესტები?
NVIDIA-მ GR00T 2 50 ახალ დავალებაზე გამოსცადა. კონკრეტულ რობოტს ეს საქმეები მანამდე არ შეესრულებინა: მოდელს ისინი მხოლოდ ადამიანის ვიდეოებში ან სხვა რობოტის შესრულებით ჰქონდა ნანახი.
დამატებითი ჩვენების გარეშე საშუალო წარმატება 40% იყო, თუმცა 50 დავალებიდან 40 ერთხელ მაინც შესრულდა. წარუმატებელი ცდების დროს რობოტი, როგორც წესი, მოქმედებებს სწორად ალაგებდა, მაგრამ მოძრაობის სიზუსტე არ ჰყოფნიდა.
მცირე დამატებითმა სწავლებამ შედეგი საგრძნობლად გააუმჯობესა. თითო დავალების ერთი ჩვენების შემდეგ საშუალო წარმატება 71%-მდე გაიზარდა, ხუთი ჩვენების შემდეგ კი 95%-ს მიაღწია. ამ უკანასკნელ შემთხვევაში 50 დავალებიდან 37 ყველა ცდაზე წარმატებით შესრულდა. კომპანიის ინფორმაციით, ხუთი ჩვენებისთვის სამ წუთზე ნაკლები ვიდეომასალაა საჭირო. ასეთი დამატებითი სწავლება LoRA მეთოდით ერთ RTX 5090 ვიდეო ბარათზე დაახლოებით 30 წუთს მოითხოვს.
ეს NVIDIA-ს მიერ გამოქვეყნებული შედეგებია. კომპანიის ცნობით, GR00T 2 RoboCasa365-ის, RoboLab-ის, RoboDojo-სა და MolmoSpaces-ის ტესტების შესაბამის კატეგორიებში საუკეთესო სამეულში მოხვდა, ზოგიერთში კი პირველი ადგილიც დაიკავა.
როგორ სწავლობს რობოტი ადამიანის ვიდეოდან?
GR00T 2-ის მოსამზადებლად სამი ტიპის მონაცემი გამოიყენეს:
- 402 730 საათი ადამიანის ვიდეო, რომელიც თავად ადამიანის ხედვის კუთხითაა გადაღებული.
- 10 184 საათი დემონსტრაცია, სადაც ადამიანები სპეციალური მექანიკური დამჭერით (UMI) 2 897 სხვადასხვა დავალებას ასრულებენ.
- 23 500 საათი რობოტების ჩანაწერი, რომლებშიც ადამიანები მოწყობილობებს დისტანციურად მართავდნენ.
მონაცემებში შედის YAM-ისა და Franka-ს რობოტული მკლავები, Sharpa-სა და Wuji-ს ხელები და Unitree G1 ჰუმანოიდი. ადამიანის ვიდეოები Human-1M კრებულიდანაა, რომლის 100 000-საათიანი ნაწილი NVIDIA-მ Hugging Face-ზე Human-1M-100K-ის სახელით გაასაჯაროვა. ეს მთელი სასწავლო მასალა არ არის, არამედ უფრო დიდი კრებულის ღია ნაწილია.
რამდენად ეხმარება მოდელს ადამიანის ვიდეო? NVIDIA-ს ექსპერიმენტში, როცა სწავლებისას ამ მასალის წილი 0%-დან 100%-მდე გაზარდეს, რეალურ რობოტზე 72 დავალების შესრულების საშუალო მაჩვენებელი 50%-დან 70%-მდე გაიზარდა.
პრაქტიკული მაგალითებიც საინტერესოა. ორხელიანმა რობოტმა ადამიანის ვიდეოდან ისწავლა ლაბორატორიულ ძაბრში ფილტრის ქაღალდის მოთავსება და დასველება. მან დავალება ცდების 65%-ში შეასრულა. YAM-ის მკლავმა კი მხოლოდ UMI დამჭერით ჩაწერილი დემონსტრაციების საფუძველზე სათამაშო თვითმცლელის აწყობა ისწავლა და ოთხ წუთამდე ხანგრძლივი პროცესი ცდების 60%-ში წარმატებით დაასრულა. ამ მიდგომას NVIDIA X-Adapt-ს უწოდებს.
AI აგენტები და GR00T 2 Turbo
რთული, რამდენიმეეტაპიანი სამუშაოს შესრულებისას GR00T 2-ს AI აგენტიც შეუძლია დაეხმაროს. მსჯელობის მოდელი ადგენს, რა უნდა გაკეთდეს და რა თანმიმდევრობით, GR00T 2 კი კონკრეტულ მოძრაობებს ასრულებს. აგენტი დავალებებს WAM API-ის საშუალებით მართავს და შეცდომის შემთხვევაში გეგმას ცვლის.
ამ გზით YAM-ის მკლავმა სათამაშო თვითმფრინავი 100-დან 98 ცდაში ააწყო, ტრაქტორი და მანქანა კი 100-დან 97-ში. აგენტის გარეშე წარმატების მაჩვენებელი 71-84% იყო. კიდევ ერთ ტესტში რობოტმა ხუთი Ethernet კაბელი ზედიზედ 20-დან 19 ცდაში შეაერთა, ხუთი დამტენის ჩართვა კი 20-ვე ცდაში შეძლო.
აგენტს შეუძლია, კამერის გამოსახულებაზე რობოტს მიუთითოს, რომელი ნივთი აიღოს და სად დადოს. ასეთი ვიზუალური მინიშნებებით YAM-მა მოკლე დავალებების 92% შეასრულა, მხოლოდ ტექსტური ინსტრუქციით კი 40%. ნაგვის დახარისხების უფრო გრძელ დავალებაში მინიშნებებით 20-დან 17 ცდა წარმატებით დასრულდა, მათ გარეშე კი არცერთი.
თუმცა ვიზუალური მონიშვნა ყველაფერს ვერ აღწერს. მაგალითად, მხოლოდ მდებარეობის მითითებით რთულია იმის ახსნა, რა მდგომარეობაში უნდა აღმოჩნდეს საგანი ბოლოს ან როგორ უნდა შესრულდეს სითხის ჩამოსხმის მსგავსი მოძრაობა.
NVIDIA-მ ასევე აჩვენა GR00T 2 Turbo, დაახლოებით 2 მილიარდი პარამეტრის მქონე უფრო კომპაქტური მოდელი. ის პირდაპირ Unitree G1 ჰუმანოიდზე მუშაობს და რობოტის საკუთარ Jetson Thor კომპიუტერზე ერთ გამოთვლას 124 მილიწამში ასრულებს.
SONIC სისტემასთან ერთად, რომელიც რობოტის მთელი სხეულის მოძრაობას მართავს, Turbo-მ პოპკორნის აღება და მიწოდება 48-ვე ცდაში შეძლო, მაგიდის დალაგება კი ცდების 93%-ში გამოუვიდა.
ახალი სიმულაციები და რობოტების შეფასება
CoRL-ზე NVIDIA-მ Isaac Lab 3.0-იც წარადგინა. ეს ღია პლატფორმაა, სადაც რობოტების სწავლება ჯერ ვირტუალურ გარემოში შეიძლება, რეალურ მოწყობილობაზე გამოცდამდე. ახალ ვერსიაში სავარჯიშო გარემოს შექმნაში AI აგენტებიც მონაწილეობენ.
პლატფორმა ფიზიკის სიმულაციისთვის PhysX-სა და ღია Newton სისტემას იყენებს. Newton უკეთ ასახავს რბილი საგნების, მაგალითად კაბელებისა და ქსოვილების, ქცევას. NVIDIA-ს ერთ ტესტში Isaac Lab 3.0-მა Newton-ით სწავლება დაახლოებით 2,5-ჯერ სწრაფად შეასრულა, ვიდრე Isaac Lab 2.3-მა PhysX-ით.
კომპანიამ რობოტების შესაძლებლობების შესაფასებლად Isaac Lab-Arena 0.4-ის წინასწარი ვერსიაც დააანონსა. მასთან ერთად ორი ახალი ღია ტესტი გამოჩნდა: RLWRLD-თან შექმნილი DexBench, რომელიც 15 ინდუსტრიულ დავალებას მოიცავს, და ბერკლის კალიფორნიის უნივერსიტეტთან შემუშავებული VABAR, ექვსი დავალებით.
ვაშინგტონის უნივერსიტეტთან თანამშრომლობით NVIDIA-მ გამოცადა სწავლების მეთოდი Success-Guided Sampling. მისი დახმარებით ერთმა მოდელმა NIST-ის ასაწყობ დაფაზე 20 დავალება ისწავლა. სწავლების პროცესში წარმატების მაჩვენებელი 98%-ს აღემატებოდა.
ტექნოლოგიას პარტნიორებიც ცდიან. Nexuni მას სამრეცხაოს ამოცანებზე ამოწმებს, Foxconn სერვერების წარმოების ავტომატიზაციაში იყენებს, Siemens ინდუსტრიულ გარემოში აფასებს, MicroAGI კი YAM-ის მკლავს Ethernet კაბელების შეცვლას ცდისა და შეცდომის გზით ასწავლის.
NVIDIA-ს კვლევითი გვერდის მიხედვით, GR00T 2-ის კოდი დეკემბერში უნდა გამოქვეყნდეს.
რატომ არის GR00T 2 მნიშვნელოვანი?
რობოტებისთვის ახალი საქმის სწავლება დღესაც რთული და ძვირი პროცესია. ხშირად საჭიროა კონკრეტული მოწყობილობით მრავალი დემონსტრაციის ჩაწერა. GR00T 2 სხვა გზას გვთავაზობს: რობოტმა მოქმედების პრინციპი ადამიანის ვიდეოდან ისწავლოს, ხოლო ახალ გარემოს მცირე დამატებითი ვარჯიშით მოერგოს.
თუ ეს მიდგომა სხვა ლაბორატორიების გამოცდებშიც გაამართლებს, რობოტების ახალ დავალებებზე გადამზადება უფრო სწრაფი და ხელმისაწვდომი შეიძლება გახდეს. ამ ეტაპზე წარმოდგენილი შედეგები NVIDIA-ს ეკუთვნის. კოდის გამოქვეყნების შემდეგ დამოუკიდებელ მკვლევრებს მათი გადამოწმების შესაძლებლობა ექნებათ.
წყაროები
სხვა თემები
Google DeepMind-მა Gemini Robotics 2.5 წარადგინა: რობოტი უფრო ოსტატურად მოქმედებს
ჯენსენ ჰუანგის გამოძიება: ჯაშუშობაზე ცნობების შემდეგ მოკვლევა დაიწყო
უცხოპლანეტელები თუ მათი AI: სიგნალებს AI აგენტები ეძებენ