OpenAI-მ LifeVal წარადგინა. ეს არის შეფასების სისტემა, რომლითაც კომპანია ზომავს, რამდენად კარგად ართმევენ თავს მისი მოდელები ყოველდღიური ცხოვრების პრაქტიკულ ამოცანებს. OpenAI LifeVal-ით კომპანია ცდილობს გაიგოს, შეუძლია თუ არა ChatGPT-ს არა მხოლოდ რჩევის მიცემა, არამედ საქმის რეალურად შესრულებაც: ბავშვისთვის ბაღის მოძებნა, ბიუჯეტის შედგენა, რეცეპტის შეცვლა, საყიდლების შეკვეთა ან სახელმწიფო სერვისებთან გამკლავება.
ჩატჯიპიტი ყოველკვირეულად მილიარდზე მეტი ადამიანი იყენებს. OpenAI წერს, რომ ვინც ცხოვრების გამარტივებაში დახმარებას ეძებს, მას „რჩევაზე ან ჩატის პასუხზე მეტი სჭირდება“ და ნამდვილად სასარგებლო პირადი ასისტენტი ისეთ მოქმედებებს უნდა ასრულებდეს, რომლებიც საქმეს ბოლომდე მიიყვანს.
სარჩევი
რას ზომავს OpenAI LifeVal
OpenAI-ის აღწერით, LifeVal იმ სფეროების ამოცანებს მოიცავს, სადაც მომხმარებლებს AI-სა და პირადი აგენტებისგან დახმარება ყველაზე მეტად სჭირდებათ. კომპანიამ ეს შეფასება გასული ერთი წლის განმავლობაში გამოიყენა, რათა ყოველდღიურ ამოცანებზე მოდელების პროგრესი ეკონტროლებინა და გაეუმჯობესებინა.
ამოცანები რამდენიმე დიდ მიმართულებას ფარავს: ზრუნვას ოჯახის წევრებზე, ჯანმრთელობას, განათლებას, საოჯახო ადმინისტრირებას, პირად ფინანსებს, საყიდლებს და სახელმწიფო სერვისებზე წვდომას.
როგორ შეარჩია OpenAI-მ ამოცანები
ამოცანების შესარჩევად OpenAI-მ ორი დიდი კვლევით დაიწყო, რომლებიც აღრიცხავს, რაში ხარჯავენ ადამიანები დროს აშშ-სა და სხვა ქვეყნებში. ესენია American Time Use Survey და Multinational Time Use Study. კომპანიის თქმით, ეს მონაცემები ყოველდღიური საქმეების დეტალურ კატალოგს იძლევა სხვადასხვა დემოგრაფიული ჯგუფის, დღის მონაკვეთისა და სეზონის მიხედვით.
ამის შემდეგ OpenAI-მ ჩაატარა საკუთარი, დემოგრაფიულად წარმომადგენლობითი გამოკითხვა, რომელშიც 3 995 რესპონდენტი მონაწილეობდა. თითოეულ ამოცანაზე მათ რამდენიმე კითხვა დაუსვეს, რათა გაერკვიათ, რომელ სფეროებში უნდათ ადამიანებს პირადი ასისტენტის დახმარება ყველაზე მეტად.
მაგალითები და შედეგები
OpenAI-მ რამდენიმე კონკრეტული მაგალითი აჩვენა, თუ როგორ ასრულებენ მისი მიმდინარე მოდელები ყოველდღიურ სამუშაო პროცესებს:
- გადასვლის შემდეგ შესაფერისი საბავშვო ბაღის შერჩევა და ჩარიცხვის დეტალების მოწესრიგება — 93,1%;
- წყალდიდობისთვის მზადებისას მოხალისეების ორგანიზება ოთხი მეზობლის დასახმარებლად — 98,0%;
- ოჯახისთვის სახლის მოძებნა Luzerne County-ში ბიუჯეტის, ცალკე საცხოვრებელი ერთეულისა და მოკლე გზის გათვალისწინებით — 100%;
- ბებიასთან ერთად მატჩის დისტანციურად ყურების მოწყობა — 96,3%;
- დიაბეტის ახალი დიაგნოზის მქონე მშობლისთვის კვებისა და მოვლის გეგმის შედგენა — 90,4%.
OpenAI წერს, რომ მისი უახლესი მოდელები LifeVal-ის ბევრ ამოცანაზე ძალიან მაღალ ქულებს იღებენ. ცხრილში, სადაც GPT-6 Astra-ს საუკეთესო დაფიქსირებული შედეგებია მოცემული, 100% აქვს, მაგალითად, ამ ამოცანებს: პატარა ბავშვისთვის სენსორული მეცადინეობის მოძებნა და დაჯავშნა, მანქანის სერვისის ვადის შემოწმება და ინსპექციის დაჯავშნა, ბიუჯეტში ჩატეული ჰალალ პროდუქტების შეკვეთა ცხრილში დეტალური ჩამონათვალით და ელფოსტის გამოწერების გაუქმება.
ChatGPT ჩატიდან პირადი აგენტისკენ
კომპანიის თქმით, გასული წლის განმავლობაში OpenAI-მ მოდელები ისე გაწვრთნა, რომ ბრაუზერის გამოყენებაში, კომპიუტერის მართვასა და კონექტორებთან მუშაობაში ისინი გაცილებით სწრაფი, უფრო ძლიერი და უკეთ მიზანთან შესაბამისი გახდნენ. ამ შესაძლებლობების ChatGPT-ში ჩართვა ზრდის ამოცანების სპექტრს, რომლებშიც მოდელს დახმარება შეუძლია, და, OpenAI-ის სიტყვებით, ChatGPT-ს ჩატის ინსტრუმენტიდან „ნამდვილად აგენტური პირადი ასისტენტისკენ“ აახლოებს.
OpenAI ამბობს, რომ AGI-ის მისიისთვის საჭიროა ისეთი პროგრესის გაზომვა, რომელიც ჩვეულებრივი ადამიანების ცხოვრებაში მნიშვნელოვანია. ეს ნიშნავს აკადემიური ცოდნის ტესტებს მიღმა გასვლას და იმის შეფასებას, რამდენად ეხმარება AI ადამიანებს გადაწყვეტილებების მიღებაში, ყოველდღიური მოვალეობების მართვასა და საქმის შესრულებაში. კომპანია იმედოვნებს, რომ LifeVal ამ მიზნისკენ გადადგმული ნაბიჯია.
რატომ არის OpenAI LifeVal საინტერესო
ენობრივი მოდელების შეფასებების უმეტესობა დღემდე ცოდნას, მათემატიკას ან პროგრამირებას ამოწმებს. ასეთი ტესტები კარგად აჩვენებს, რამდენად „ჭკვიანია“ მოდელი, მაგრამ ნაკლებად გვეუბნება, რამდენად გამოადგება ის ჩვეულებრივ ადამიანს, რომელსაც, მაგალითად, ექიმთან ვიზიტის დაგეგმვა, ოჯახის ხარჯების დალაგება ან ბავშვის სკოლისთვის მომზადება სჭირდება. LifeVal სწორედ ამ ხარვეზის შევსებას ცდილობს: ამოცანები რეალური ცხოვრებიდან არის აღებული და შედეგი იმით ფასდება, მიიყვანა თუ არა მოდელმა საქმე ბოლომდე.
ეს მიდგომა იმასაც აჩვენებს, საით მიდის ChatGPT. თუ წინა წლებში მთავარი კითხვა იყო, რამდენად ზუსტად პასუხობს მოდელი, ახლა OpenAI-სთვის სულ უფრო მნიშვნელოვანია, შეუძლია თუ არა მას ბრაუზერში, აპლიკაციებსა და სერვისებში მომხმარებლის ნაცვლად მოქმედება.
რა უნდა გავითვალისწინოთ
OpenAI LifeVal კომპანიის შიდა შეფასებაა და შედეგებიც თავად OpenAI-მ გამოაქვეყნა. გამოქვეყნებულ გვერდზე არ ჩანს, ხელმისაწვდომი იქნება თუ არა ამოცანების სრული ნაკრები დამოუკიდებელი მკვლევრებისთვის, და არც ის არის განმარტებული, როგორ ითვლება პროცენტული ქულა თითოეულ ამოცანაზე. ცხრილში მოცემულია GPT-6 Astra-ს „საუკეთესო დაფიქსირებული“ შედეგები, ანუ ეს არ არის საშუალო მაჩვენებელი ყველა მცდელობაზე. სხვა კომპანიების მოდელებთან შედარება OpenAI-ს არ გამოუქვეყნებია, ამიტომ LifeVal ჯერჯერობით უფრო OpenAI-ის საკუთარი პროგრესის საზომია, ვიდრე დამოუკიდებელი ბენჩმარკი.
წყაროები
სხვა თემები
Weight-Space Programming: GPT-6 Astra ნეირონული ქსელების წონებს პირდაპირ წერს
Data Bot: მონაცემთა გუნდმა Grok Bot-ში ანალიტიკოსი ბოტი შექმნა
AI აგენტის გავლენა: ანალიტიკოსები Claude Code-ის პოზიციას 86%-ში დაეთანხმნენ