ჰიპერპარამეტრი (Hyperparameter) – პარამეტრი, რომელსაც ადამიანი ტრენინგამდე ირჩევს, მაგალითად სწავლის სიჩქარე ან ბეჩის ზომა.
როგორ მუშაობს ჰიპერპარამეტრი
ჰიპერპარამეტრი (hyperparameter) არის პარამეტრი, რომელსაც ადამიანი ტრენინგის დაწყებამდე ირჩევს და რომელიც სწავლის პროცესს მართავს. მაგალითებია სწავლის ტემპი (learning rate), ბეჩის ზომა, ეპოქების რაოდენობა და ფენების რაოდენობა. მოდელი მათ თავად არ სწავლობს. საუკეთესო მნიშვნელობებს ცდით ეძებენ: რამდენიმე ვარიანტით წვრთნიან და ვალიდაციის შედეგს ადარებენ.
მაგალითი ყოველდღიური ცხოვრებიდან
ღუმელში ნამცხვრის გამოცხობისას ტემპერატურას და დროს წინასწარ შენ არჩევ. ეს „ჰიპერპარამეტრებია“. თავად ცომში მიმდინარე პროცესები კი „პარამეტრებს“ ჰგავს.
რატომ არის ჰიპერპარამეტრი მნიშვნელოვანი
- ხარისხი – ცუდად შერჩეულმა ჰიპერპარამეტრებმა კარგი მოდელიც შეიძლება გააფუჭოს.
- დრო და ხარჯი – სწორი არჩევანი ტრენინგს აჩქარებს.
- ავტომატიზაცია – ჰიპერპარამეტრების ძიება ხშირად AutoML-ით ავტომატიზდება.
ჰიპერპარამეტრების შერჩევის მეთოდები
ბადისებრი ძიებისას წინასწარ ადგენ თითოეული ჰიპერპარამეტრის რამდენიმე მნიშვნელობას და ცდი მათ ყველა კომბინაციას. ეს სისტემატურია, მაგრამ ჰიპერპარამეტრების რაოდენობის ზრდასთან ერთად ცდების რიცხვი სწრაფად იზრდება. შემთხვევითი ძიება კომბინაციებს შემთხვევით არჩევს და ხშირად ნაკლები ცდით პოულობს კარგ შედეგს.
ბაიესური ოპტიმიზაცია უფრო ჭკვიანურად მოქმედებს: წინა ცდების შედეგებზე დაყრდნობით აფასებს, რომელი კომბინაცია არის ყველაზე პერსპექტიული, და შემდეგ სწორედ მას ცდის. არსებობს მეთოდებიც, რომლებიც სუსტ ცდებს ადრე წყვეტენ და რესურსს პერსპექტიულებზე ხარჯავენ.
ჰიპერპარამეტრების შეფასება ვალიდაციის ნაკრებზე ხდება და არა ტესტზე. თუ მონაცემები ცოტაა, იყენებენ ჯვარედინ ვალიდაციას: მონაცემები რამდენიმე ნაწილად იყოფა და თითოეული რიგრიგობით ვალიდაციის როლს ასრულებს.
დიდი ენობრივი მოდელების ტრენინგი ძალიან ძვირია, ამიტომ ჰიპერპარამეტრებს ხშირად ჯერ პატარა მოდელებზე არჩევენ და შემდეგ დიდ მოდელზე გადააქვთ. ზოგი ჰიპერპარამეტრი, მაგალითად სწავლის ტემპი, ზომასთან ერთად სისტემატურად უნდა შეიცვალოს.
შერჩევის შედეგები სასარგებლოა ჩაიწეროს, რომ ექსპერიმენტი მოგვიანებით გამეორდეს.
დაკავშირებული ტერმინები
პარამეტრი · ბეჩი · ეპოქა · ვალიდაციის ნაკრები · AutoML · AI ლექსიკონი
ხშირად დასმული კითხვები
ტემპერატურა ჰიპერპარამეტრია?
გენერაციის პარამეტრია, რომელსაც ადამიანი ირჩევს, ამიტომ ფართო გაგებით ზოგჯერ ასეც უწოდებენ, თუმცა ის ტრენინგს არა, პასუხის გენერაციას მართავს.
როგორ ეძებენ საუკეთესო მნიშვნელობებს?
ბადისებრი ძიებით, შემთხვევითი ძიებით ან უფრო ჭკვიანი მეთოდებით, მაგალითად ბაიესური ოპტიმიზაციით.
შეჯამება
ჰიპერპარამეტრები ადამიანის მიერ არჩეული პარამეტრებია, რომლებიც ტრენინგს მართავს. მათი სწორი შერჩევა მოდელის ხარისხისთვის გადამწყვეტია.