ვალიდაციის ნაკრები (Validation set)

ვალიდაციის ნაკრები (Validation set) – მონაცემების ნაწილი, რომელზეც მოდელი არ სწავლობს და რომლითაც ტრენინგის დროს მის ხარისხს ამოწმებენ.

როგორ მუშაობს ვალიდაციის ნაკრები

დატასეტი ჩვეულებრივ სამ ნაწილად იყოფა. სასწავლო ნაკრებზე მოდელი სწავლობს, ვალიდაციის ნაკრებზე კი ტრენინგის დროს მოწმდება, რომ დეველოპერებმა აირჩიონ საუკეთესო ჰიპერპარამეტრები და დროულად შეაჩერონ სწავლება. ტესტის ნაკრები ბოლომდე ხელუხლებელი რჩება საბოლოო შეფასებისთვის. ვალიდაციის მონაცემები ტრენინგში არ გამოიყენება, ამიტომ ისინი აჩვენებს, რამდენად კარგად მუშაობს მოდელი ახალ მაგალითებზე.

მაგალითი ყოველდღიური ცხოვრებიდან

სტუდენტი სემესტრის განმავლობაში სავარჯიშო ტესტებს წერს, რომ გაიგოს, რა სუსტი მხარეები აქვს და სწავლის მეთოდი შეცვალოს. ეს ვალიდაციაა. საბოლოო გამოცდა კი ტესტის ნაკრებია.

რატომ არის ვალიდაციის ნაკრები მნიშვნელოვანი

• ზედმეტი მორგების აღმოჩენა – თუ ვალიდაციის შედეგი უარესდება, მოდელი სასწავლო მონაცემებს ზედმეტად ერგება.
• სწორი არჩევანი – ვალიდაციით ირჩევენ მოდელის ვერსიასა და პარამეტრებს.
• ობიექტურობა – ტესტის ნაკრები ამ პროცესში არ „ფუჭდება“.

ვალიდაციის მეთოდები

ყველაზე მარტივი მეთოდია მონაცემების ერთხელ დაყოფა: ნაწილი სასწავლოდ, ნაწილი ვალიდაციისთვის. როცა მონაცემები ცოტაა, იყენებენ ჯვარედინ ვალიდაციას (cross-validation): მონაცემები რამდენიმე ნაწილად იყოფა, მოდელი რამდენჯერმე იწვრთნება და ყოველ ჯერზე სხვა ნაწილი ასრულებს ვალიდაციის როლს. შედეგების საშუალო უფრო სანდო შეფასებას იძლევა.

მნიშვნელოვანია, რომ ვალიდაციის მონაცემები რეალურ გამოყენებას ჰგავდეს. თუ მოდელი მომავლის პროგნოზისთვისაა, ვალიდაციისთვის ჯობს უფრო ახალი პერიოდის მონაცემები იყოს გამოყოფილი და არა შემთხვევით არჩეული ჩანაწერები. ასევე საჭიროა, რომ ერთი და იგივე ადამიანის ან დოკუმენტის მონაცემები ერთდროულად სასწავლო და ვალიდაციის ნაკრებში არ მოხვდეს.

ზოგჯერ ვალიდაციის ნაკრები გამოიყენება ტრენინგის დროს ავტომატური გადაწყვეტილებებისთვისაც: მაგალითად, ინახება მოდელის ის ვერსია, რომელმაც ვალიდაციაზე საუკეთესო შედეგი აჩვენა. თუმცა თუ დეველოპერები ძალიან ბევრ ექსპერიმენტს ატარებენ და ყოველ ჯერზე ვალიდაციის შედეგით ირჩევენ, მოდელი თანდათან ვალიდაციის ნაკრებსაც შეიძლება „მოერგოს“. სწორედ ამიტომ არის საჭირო ცალკე, ხელუხლებელი ტესტის ნაკრები.

დაკავშირებული ტერმინები

ტესტის ნაკრები · დატასეტი · ზედმეტი მორგება · ჰიპერპარამეტრი · ეპოქა · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

ვალიდაციის ნაკრები ტრენინგის დროს მოდელის ხარისხს ამოწმებს. ის ზედმეტი მორგების აღმოჩენასა და სწორი პარამეტრების არჩევაში გვეხმარება.