დატასეტი (Dataset) – მონაცემთა ნაკრები (ტექსტები, სურათები, ციფრები), რომელსაც მოდელის გასაწვრთნელად ან შესამოწმებლად იყენებენ.
როგორ მუშაობს დატასეტი
დატასეტი არის სტრუქტურირებული კრებული: ტექსტები, სურათები, ცხრილები, აუდიო ან კოდი. ხშირად ის სამ ნაწილად იყოფა: სასწავლო (training), ვალიდაციის და ტესტის ნაკრებებად. ერთზე მოდელი სწავლობს, მეორეზე პარამეტრებს არჩევენ, მესამეზე კი საბოლოო ხარისხს ამოწმებენ. დატასეტის ზომა, მრავალფეროვნება და სისუფთავე პირდაპირ განსაზღვრავს მოდელის ხარისხს.
მაგალითი ყოველდღიური ცხოვრებიდან
თუ გვინდა მოდელმა ქართული ტექსტის განწყობა (დადებითი ან უარყოფითი) გაიგოს, დაგვჭირდება დატასეტი, სადაც ათასობით ქართულ კომენტარს მიწერილი აქვს შესაბამისი ეტიკეტი.
რატომ არის დატასეტი მნიშვნელოვანი
- ხარისხი – „ნაგავი შედის, ნაგავი გამოდის“: ცუდი მონაცემი ცუდ მოდელს ქმნის.
- ენები – ქართულენოვანი დატასეტების სიმცირე ერთ-ერთი მიზეზია, რის გამოც მოდელები ქართულზე ნაკლებად კარგად მუშაობენ.
- სამართლებრივი საკითხები – მნიშვნელოვანია საავტორო უფლებები და პერსონალური მონაცემების დაცვა.
დატასეტის სახეები
დატასეტები განსხვავდება მონაცემის ტიპით: არსებობს ტექსტური, სურათების, აუდიოს, ვიდეოს, ცხრილური და კოდის დატასეტები. ისინი განსხვავდება მიზნითაც. სასწავლო დატასეტზე მოდელი სწავლობს, შეფასების დატასეტით კი მის უნარებს ამოწმებენ. ბევრი ცნობილი ბენჩმარკი, ფაქტობრივად, საგულდაგულოდ შედგენილი შეფასების დატასეტია.
მნიშვნელოვანია დატასეტის წარმომავლობაც. ზოგი საჯაროდ ხელმისაწვდომია და კვლევისთვის თავისუფლად გამოიყენება, ზოგი კი კომპანიის შიდა საკუთრებაა. დატასეტის აღწერაში კარგია მითითებული იყოს, საიდან შეგროვდა მონაცემები, როგორ გასუფთავდა და რა შეზღუდვები აქვს. ასეთი დოკუმენტაცია სხვა მკვლევრებს ეხმარება გაიგონ, რისთვის გამოდგება დატასეტი და სად შეიძლება იყოს სისუსტე.
დატასეტის მომზადება ხშირად ტრენინგზე მეტ დროს მოითხოვს. საჭიროა დუბლიკატების წაშლა, შეცდომების გასწორება, დაბალი ხარისხის ან საზიანო შინაარსის მოცილება და ფორმატის გაერთიანება. ბევრი ინჟინერი ამბობს, რომ მონაცემების ხარისხის გაუმჯობესება ხშირად უფრო დიდ ეფექტს იძლევა, ვიდრე მოდელის არქიტექტურის შეცვლა.
დაკავშირებული ტერმინები
ანოტაცია · ვალიდაციის ნაკრები · ტესტის ნაკრები · სინთეტიკური მონაცემები · მიკერძოება · AI ლექსიკონი
ხშირად დასმული კითხვები
სად შეიძლება დატასეტების პოვნა?
ღია დატასეტები ხელმისაწვდომია ისეთ პლატფორმებზე, როგორიცაა Hugging Face და Kaggle.
რამდენად დიდი უნდა იყოს დატასეტი?
ეს ამოცანაზეა დამოკიდებული. მარტივ ამოცანას ასობით მაგალითი ჰყოფნის, დიდ ენობრივ მოდელებს კი უზარმაზარი მოცულობა სჭირდებათ.
შეჯამება
დატასეტი მონაცემების კრებულია, რომელზეც მოდელი სწავლობს და მოწმდება. მისი ხარისხი AI სისტემის ხარისხის საფუძველია.