AI აგენტების უსაფრთხოება NVIDIA-ს ახალი ინიციატივის მთავარი მიმართულებაა. ჯენსენ ჰუანგის განცხადებით, NVIDIA-მ ინდუსტრიის 100-ზე მეტ პარტნიორთან ერთად წარადგინა NVIDIA Open Agent Safety Platform, რომელიც OpenShell-სა და Sentry-ს აერთიანებს.
ინიციატივის მიზანია ისეთი ღია ეკოსისტემის შექმნა, რომელიც ორგანიზაციებს უფრო უსაფრთხო და სანდო აგენტური სისტემების განვითარებაში დაეხმარება. ჰუანგი ამ ნაბიჯს ხელოვნურ ინტელექტზე დაფუძნებული ეკონომიკისთვის აუცილებელი ნდობის საფუძვლის შექმნას უკავშირებს.
სარჩევი
მისი მთავარი გზავნილი ასეთია: AI-ის შესაძლებლობების ზრდას უსაფრთხოებისა და პასუხისმგებლობის გაძლიერებაც უნდა ახლდეს. ადამიანებს უნდა ჰქონდეთ ნდობა, რომ ტექნოლოგია, რომელსაც უფრო მეტ საქმეს ანდობენ, სათანადო კონტროლის პირობებში მუშაობს.
რომელი კომპანიები მონაწილეობენ ინიციატივაში
რომელი კომპანიები მონაწილეობენ AI აგენტების უსაფრთხოების ინიციატივაში
NVIDIA-ს განცხადებაში სახელობით დასახელებული მონაწილეებია:
ტექნოლოგიები, პროგრამული უზრუნველყოფა და მომსახურება
- Anthropic
- SpaceXSI
- Salesforce
- Accenture
- Armadin
- Cadence
- Cognition
- CrowdStrike
- Cisco
- Dassault Systèmes
- Deloitte
- EY
- Hugging Face
- IBM
- Irregular
- Perplexity
- Microsoft
- SAP
- Scale AI
- ServiceNow
- Siemens
- Synopsys
- OpenClaw
- Palantir
- Palo Alto Networks
რობოტიკა
ფინანსური სექტორი
ენერგეტიკა და კრიტიკული ინფრასტრუქტურა
ოპერაციული სისტემები
გამოთვლითი ინფრასტრუქტურა და ღრუბლოვანი სერვისები
- Baseten
- CoreWeave
- Dell Technologies
- GMI Cloud
- HPE
- HP Inc.
- Lenovo
- Nebius
- Oracle Cloud Infrastructure
- Supermicro
- Together AI
ინფრასტრუქტურის პარტნიორებში ასევე დასახელებული არიან ზემოთ ჩამოთვლილი Cisco, Irregular და Microsoft.
რატომ სჭირდება AI აგენტების უსაფრთხოებას ცალკე მიდგომა
AI აგენტს მხოლოდ პასუხის დაწერა არ შეუძლია. მისთვის მინიჭებული უფლებების მიხედვით, მას შეუძლია ფაილების წაკითხვა, პროგრამული ინსტრუმენტების გამოყენება, კოდის დაწერა და გაშვება, ასევე სამუშაო პროცესის რამდენიმე ეტაპის შესრულება.
ამიტომ უსაფრთხოებისთვის მნიშვნელოვანია არა მხოლოდ პასუხის შინაარსი, არამედ მოქმედების ფარგლებიც. რომელ მონაცემებზე აქვს აგენტს წვდომა? რა შეუძლია შეცვალოს? რომელ გარე სერვისს შეიძლება დაუკავშირდეს?
NVIDIA-ს მიერ აღწერილი მიდგომით, ეს შეზღუდვები თავად სამუშაო გარემომ უნდა აღასრულოს. მხოლოდ მოდელისთვის მიცემული ქცევითი ინსტრუქცია საკმარისი საფუძველი არ არის ისეთი სისტემისთვის, რომელსაც რეალური მოქმედებების შესრულება შეუძლია.
OpenShell და Sentry – როგორ ნაწილდება კონტროლი
OpenShell: იზოლირებული გარემო და მოქმედების წესები
OpenShell ღია კოდის სამუშაო გარემოა ავტონომიური აგენტებისთვის. მისი მიდგომა გულისხმობს აგენტის იზოლირებულ გარემოში, ე.წ. sandbox-ში გაშვებას და უსაფრთხოების წესების ინფრასტრუქტურის დონეზე აღსრულებას.
ეს განასხვავებს ერთმანეთისგან აგენტის ქცევას და მისთვის ნებადართულ მოქმედებებს. აგენტს შეუძლია ამოცანის შესრულების გზა შეარჩიოს, მაგრამ წვდომის საზღვრები ორგანიზაციის მიერ განსაზღვრულ წესებს უნდა დაემორჩილოს.
OpenShell-ის კონტროლი მოიცავს ფაილებთან, ქსელთან და პროცესებთან დაკავშირებულ მოქმედებებს. მაგალითად, გარემო განსაზღვრავს, რისი წაკითხვა, ჩაწერა ან გაშვებაა ნებადართული და რომელ გარე ინსტრუმენტთან შეიძლება დაკავშირება.
NVIDIA ამ მიდგომას ბრაუზერის ჩანართების იზოლაციას ადარებს: თითოეულ სესიას საკუთარი საზღვრები აქვს, რესურსები კონტროლდება, ხოლო მოქმედების შესრულებამდე შესაბამისი ნებართვა მოწმდება. მიზანია, აგენტის სამუშაო სივრცეში წარმოქმნილი პრობლემა დანარჩენ სისტემაზე არ გავრცელდეს.
Sentry: დამოუკიდებელი ზედამხედველობა
NVIDIA-ს განცხადებით, Sentry BlueField-4 DPU-ზე აგენტის ქცევას დამოუკიდებლად აკვირდება. პროგრამული საზღვრების გადალახვის მცდელობისას მას აგენტის იზოლირება და შეჩერება მილიწამებში შეუძლია.
ჰუანგის ხედვა: ნდობა ტექნოლოგიის გავრცელების წინაპირობაა
ჯენსენ ჰუანგი ხელოვნური ინტელექტის პოტენციალს სამეცნიერო აღმოჩენების დაჩქარებას, პროდუქტიულობის ზრდას, უსაფრთხოების გაუმჯობესებასა და ჯანმრთელობის სფეროში პროგრესს უკავშირებს. თუმცა მისი განცხადებით, ამ შესაძლებლობების სრულად გამოყენება ადამიანების ნდობის გარეშე ვერ მოხერხდება.
ჰუანგისთვის ახალი პლატფორმა უფრო ფართო თანამშრომლობის დასაწყისია. მისი მიზანია ღია ეკოსისტემის განვითარება, რომელშიც უსაფრთხო აგენტური სისტემების შექმნა ინდუსტრიის საერთო ამოცანა იქნება.
„ნდობა და ინოვაცია ერთმანეთს არ ეწინააღმდეგება. უსაფრთხოება ნდობის მოპოვების გზაა“, წერს ჰუანგი.
ამ ხედვაში AI აგენტების უსაფრთხოება ტექნოლოგიის პრაქტიკული გამოყენების საფუძველია. რაც უფრო მნიშვნელოვან საქმეს ანდობენ ორგანიზაციები აგენტებს, მით უფრო არსებითი ხდება იმის ცოდნა, სად გადის მათი მოქმედების საზღვრები და როგორ კონტროლდება ამ საზღვრების დაცვა.
წყაროები
- Xx.com/jensenhuang/status/2104499465055023424
- salesforce.comsalesforce.com
- deloitte.comdeloitte.com/us/en.html
- sap.comsap.com/index.html
- citigroup.comcitigroup.com/global
- siemens-energy.comsiemens-energy.com/global/en/home.html
- hp.comhp.com/us-en/home.html
- oracle.comoracle.com/cloud
- blogs.nvidia.comblogs.nvidia.com/blog/secure-autonomous-ai-agents-openshell
- github.comgithub.com/NVIDIA/OpenShell
სხვა თემები
ჯენსენ ჰუანგის გადადგომა: ეპოქის დასასრული
ჯენსენ ჰუანგის გამოძიება: ჯაშუშობაზე ცნობების შემდეგ მოკვლევა დაიწყო
OpenAI-ის მკვლევრებმა AI აგენტების სისტემა შექმნეს, რომელმაც Linux-ის ბირთვში 948 საშიში სუსტი წერტილი იპოვა