Nemotron 3.5 Super VL NVIDIA-ს ახალი ღია მოდელია, რომელიც კომპანიებში ავტონომიური AI აგენტების გასაშვებად შეიქმნა. მოდელს 120 მილიარდი პარამეტრი აქვს და ტექსტთან ერთად სურათებს, ვებგვერდებსა და PDF დოკუმენტებსაც იგებს. NVIDIA-მ მასთან ერთად ორი ლოკალური მოდელიც გამოუშვა: Nemotron 3.5 Bolt 74B-A9B 24GB და Nemotron 3.5 Bolt E4B 4GB. ისინი პერსონალურ კომპიუტერებზე და მცირე მოწყობილობებზე სამუშაოდაა ოპტიმიზებული.
NVIDIA-ს ოფიციალური ბლოგის მიხედვით, Super VL და Bolt 74B-A9B უკვე ხელმისაწვდომია, ხოლო Bolt E4B 23 ოქტომბერს გამოვა. ახალი მოდელები Nemotron-ის ოჯახში შედის Lightning-ისა და Ultra-ს გვერდით. Lightning, რომელიც აგვისტოში გამოვიდა, დიდი მოცულობის სამუშაოებისთვისაა, Ultra ყველაზე რთული მსჯელობის ამოცანებისთვის, Bolt კი ლოკალური მოწყობილობებისთვის. ამ მოდელებზე ადრე ვწერდით სტატიებში Nemotron 3.5 Lightning და Nemotron 3 Ultra.
სარჩევი
რა შეუძლია Nemotron 3.5 Super VL-ს
NVIDIA-ს თქმით, Super VL მულტიმოდალურ აგენტურ ამოცანებზე მაღალ სიზუსტეს აჩვენებს. ასეთი ამოცანებია ინსტრუქციების შესრულება, ინსტრუმენტების გამოყენება, მრავალსაფეხურიანი ბიზნეს-პროცესები და ვიზუალური ინფორმაციის გაგება. კომპანიის მონაცემებით, შედეგით ის NVIDIA-ს უდიდეს მსჯელობის მოდელს უტოლდება, თუმცა პარამეტრები დაახლოებით ხუთჯერ ნაკლები აქვს. მოდელი Nemotron Coalition-თან თანამშრომლობით შეიქმნა.
NVIDIA ამბობს, რომ ეს თავის კლასში ყველაზე სწრაფი ღია აგენტური მოდელია, მომდევნოზე 5-ჯერ სწრაფი. ეს მნიშვნელოვანია აგენტებისთვის, რომლებიც დღეების ან კვირების განმავლობაში გაწელილ, დიდი მოცულობის სამუშაოს ასრულებენ. Artificial Analysis Intelligence Index-ის დიაგრამაზე, რომელიც NVIDIA-მ ბლოგში გამოაქვეყნა, Nemotron 3.5 Super VL-ს 26 ქულა აქვს, Nemotron 3.5 Bolt 74B-A9B-ს კი 21.
მოდელი განსაკუთრებით კარგად კითხულობს ტექსტს სურათიდან (OCR), ცხრილებს, დიაგრამებსა და სტრუქტურირებულ ინფორმაციას ვიზუალურ დოკუმენტებში. მას შეუძლია ვებგვერდის დამუშავება, ტექსტის ამოღება, გრაფიკების წაკითხვა და დასკვნების გაკეთება. იგივე ეხება PDF-ებს. რადგან ტექსტური და ვიზუალური გაგება ერთ მოდელშია, აგენტს ამოცანების სხვადასხვა სისტემებს შორის გადანაწილება არ სჭირდება.
ღია წონები და მორგება საკუთარ მონაცემებზე
დახურული მოდელებისგან განსხვავებით, Super VL ღია წონებით, ღია მონაცემთა ნაკრებებითა და სწავლების რეცეპტებით ვრცელდება. ორგანიზაციებს შეუძლიათ მოდელი საკუთარ მონაცემებზე დაასწავლონ (post-training) და საკუთარ ინფრასტრუქტურაზე გაუშვან. მაგალითად, სადაზღვევო კომპანიის აგენტს შეუძლია განაცხადებში თაღლითობის ნიშნები ეძებოს, ხოლო მონაცემები კომპანიის შიგნით რჩება.
NVIDIA-ს მონაცემებით, Nemotron 3.5 Super VL დაახლოებით 26 ტრილიონ ტოკენზე იწვრთნა, შემდეგ კი დაახლოებით 3.8 მილიონი ნიმუშით და ათობით გარემოში გაძლიერებითი სწავლებით (reinforcement learning) დაიხვეწა. მორგებას NVIDIA NeMo, Python-ზე დაფუძნებული პაიპლაინები და Hugging Face-ზე გამოქვეყნებული ღია მონაცემთა ნაკრებები უწყობს ხელს. NVIDIA Dynamo-ზე გაშვებისას, კომპანიის თქმით, მოდელი 8-ჯერ მეტ მომხმარებელს ემსახურება და დაყოვნება 85%-ით მცირდება.
NVIDIA ამბობს, რომ ათობით ორგანიზაცია უკვე ასწავლის Super VL-ს საკუთარ მონაცემებზე, მაგალითად ფინანსებში, კიბერუსაფრთხოებაში, მედიცინასა და კოდირებაში. მოდელის ინტეგრირებას Perplexity-ც ახდენს ძიებისა და აგენტური ამოცანებისთვის.
Nemotron 3.5 Bolt: აგენტები ლოკალურ კომპიუტერზე
Bolt 74B-A9B 24GB ყოველდღიური აგენტური ამოცანების ლოკალურად შესასრულებლადაა შექმნილი NVIDIA RTX Spark-სა და DGX Spark-ზე. მშობლიური 2-ბიტიანი კვანტიზაციის წყალობით ის 24 GB მეხსიერებაში ეტევა და სხვა აპლიკაციებთან ერთად მუშაობს. მომხმარებელს შეუძლია ლოკალურ აგენტებს ვებ-კვლევა, წერა ან კოდის გამართვა მიანდოს ისე, რომ მონაცემები ღრუბელში არ გაიგზავნოს. NVIDIA-ს თქმით, ის PinchBench-ზე თავის კლასში პირველი ღია მოდელია, BrowseComp-ზე კი მეორე. RTX Spark ლეპტოპების შესახებ დაწვრილებით იხილეთ ჩვენი სტატია NVIDIA RTX Spark ლეპტოპებზე.
Bolt 74B-A9B უკვე ხელმისაწვდომია Hugging Face-ზე და მხარს უჭერს llama.cpp-ს, Ollama-სა და LM Studio-ს. Bolt E4B 4GB ფიზიკური და სასაუბრო აგენტებისთვისაა განკუთვნილი GeForce RTX-ზე, Jetson-სა და RTX/DGX Spark-ზე: სწრაფი ლოკალური ხმოვანი ასისტენტებისთვის, ინტერაქტიული პერსონაჟებისა და ჩაშენებული ინტერფეისებისთვის.
ამრიგად, ახალი ოჯახი სამ დონეს მოიცავს: Super VL დიდი კორპორატიული სერვერებისთვის, Bolt 74B-A9B ძლიერი პერსონალური კომპიუტერებისთვის, ხოლო Bolt E4B მცირე და ჩაშენებული მოწყობილობებისთვის. NVIDIA-ს თქმით, ნებისმიერ ორგანიზაციას, რომელსაც აგენტების გაშვება სურს, ახლა თავისი დონისთვის შესაფერისი ღია მოდელი აქვს.
სად არის ხელმისაწვდომი
Nemotron 3.5 Super VL უკვე ხელმისაწვდომია Hugging Face-ზე, OpenRouter-ზე, ModelScope-ზე და როგორც NVIDIA NIM მიკროსერვისი. ის მუშაობს DGX Spark-ზე, DGX Station-ზე, RTX PRO და RTX სისტემებზე, Jetson-ზე, ასევე მონაცემთა ცენტრებსა და ღრუბელში. არქიტექტურის დეტალები NVIDIA-ს დეველოპერულ ბლოგზეა აღწერილი.
რას ნიშნავს ეს
NVIDIA აგრძელებს ღია მოდელების სტრატეგიას, რომელიც მონაცემთა ცენტრიდან ლეპტოპამდე ყველა დონეს ფარავს. Nemotron 3.5 Super VL კომპანიებს სთავაზობს მძლავრ მულტიმოდალურ მოდელს, რომელსაც საკუთარ სერვერებზე გაუშვებენ და მოირგებენ, Bolt კი ლოკალურ AI აგენტებს ჩვეულებრივ კომპიუტერებამდე მიიყვანს. ბენჩმარკების შედეგები NVIDIA-ს მიერაა წარმოდგენილი და დამოუკიდებელი ტესტები ჯერ კიდევ საინტერესო იქნება. მეტი სიახლისთვის იხილეთ ჩვენი სტატია AI აგენტების უსაფრთხოებაზე.
სხვა თემები
NVIDIA RTX Spark: AI ლეპტოპები Windows-ისთვის უკვე იყიდება
Dots: OpenAI-მ AI აგენტები წარადგინა
AI აგენტების უსაფრთხოება: NVIDIA ახალ პლატფორმას ქმნის