ტესტის ნაკრები (Test set) – მონაცემები, რომლებიც მოდელს ტრენინგისას არ უნახავს და მისი საბოლოო ხარისხის შესაფასებლად გამოიყენება.
როგორ მუშაობს ტესტის ნაკრები
ტესტის ნაკრები (test set) დატასეტის ის ნაწილია, რომელიც ტრენინგისა და ვალიდაციის დროს საერთოდ არ გამოიყენება. მას მხოლოდ ბოლოს, ერთხელ იყენებენ, რომ ობიექტურად შეაფასონ, როგორ იმუშავებს მოდელი სრულიად ახალ მონაცემებზე. თუ ტესტის მაგალითები რაიმე გზით ტრენინგში მოხვდა (ამას „მონაცემების გაჟონვას“ ან „დაბინძურებას“ უწოდებენ), შედეგი ხელოვნურად გაბერილი იქნება.
მაგალითი ყოველდღიური ცხოვრებიდან
სკოლაში ფინალური გამოცდის კითხვები მოსწავლეებს წინასწარ არ ეცოდინებათ. მხოლოდ ასე ჩანს, რეალურად ისწავლეს თუ არა საგანი.
რატომ არის ტესტის ნაკრები მნიშვნელოვანი
- ობიექტურობა – აჩვენებს მოდელის რეალურ ხარისხს.
- ბენჩმარკები – საჯარო ბენჩმარკები, ფაქტობრივად, სტანდარტული ტესტის ნაკრებებია.
- სანდოობა – დაბინძურებული ტესტი მოდელის შესაძლებლობებზე მცდარ წარმოდგენას ქმნის.
ტესტის ნაკრების სწორი გამოყენება
ტესტის ნაკრები წარმოადგენს იმ მონაცემებს, რომლებიც მოდელს ტრენინგის დროს არასოდეს უნახავს და რომლებზეც მის საბოლოო ხარისხს ზომავენ. მისი მთავარი წესია, რომ მას მხოლოდ ბოლოს მიმართავ. თუ ტესტის შედეგზე დაყრდნობით ჰიპერპარამეტრებს ცვლი ან მოდელებს ირჩევ, ტესტი ფაქტობრივად ვალიდაციად იქცევა და შეფასება ზედმეტად ოპტიმისტური ხდება.
ტესტის ნაკრები რეალურ გამოყენებას უნდა ჰგავდეს. თუ მოდელი სასწავლო მონაცემებთან ძალიან მსგავს მაგალითებზე შემოწმდა, მაღალი შედეგი შეიძლება მოატყუებდეს. დროზე დამოკიდებულ ამოცანებში, მაგალითად პროგნოზირებისას, ტესტისთვის ჩვეულებრივ ყველაზე ახალ პერიოდს ტოვებენ.
დიდი ენობრივი მოდელების ეპოქაში ახალი პრობლემა გაჩნდა, მონაცემების „დაბინძურება“. საჯარო ბენჩმარკის კითხვები შეიძლება ინტერნეტში იყოს გამოქვეყნებული და პრეტრენინგის მონაცემებში მოხვდეს. მაშინ მოდელი პასუხებს იხსენებს და არა ხსნის.
ამიტომ ზოგი ბენჩმარკი ტესტის ნაწილს საიდუმლოდ ინახავს, ზოგი კი რეგულარულად ამატებს ახალ კითხვებს, რომლებიც მოდელის ტრენინგის შემდეგ შეიქმნა.
დაკავშირებული ტერმინები
ვალიდაციის ნაკრები · ბენჩმარკი · დატასეტი · ზედმეტი მორგება · გაწვრთნა · AI ლექსიკონი
ხშირად დასმული კითხვები
შეიძლება ტესტის ნაკრებზე მოდელის გაუმჯობესება?
არ არის რეკომენდებული: თუ ტესტის შედეგით ცვლი მოდელს, ის აღარ არის ობიექტური შეფასება.
რა არის ბენჩმარკის დაბინძურება?
როცა ტესტის კითხვები ან პასუხები მოდელის ტრენინგის მონაცემებში მოხვდა.
შეჯამება
ტესტის ნაკრები მოდელის საბოლოო, ობიექტური შემოწმებისთვისაა. ის მხოლოდ მაშინ არის სანდო, როცა ტრენინგს არ შეხებია.