ეპოქა (Epoch) – ტრენინგის ერთი სრული ციკლი, როცა მოდელი მთელ სასწავლო მონაცემს ერთხელ გაივლის.
როგორ მუშაობს ეპოქა
ტრენინგისას მოდელი მონაცემებს ბეჩებად ამუშავებს. როცა ყველა ბეჩი ერთხელ გაივლის, ანუ მოდელი მთელ დატასეტს ერთხელ ნახავს, სრულდება ერთი ეპოქა. პატარა მოდელებს ხშირად ათეულობით ეპოქა სჭირდებათ, დიდი ენობრივი მოდელები კი ზოგჯერ მონაცემებს მხოლოდ ერთხელ ან რამდენჯერმე გადიან, რადგან დატასეტი უზარმაზარია.
მაგალითი ყოველდღიური ცხოვრებიდან
თუ წიგნს გამოცდისთვის კითხულობ, მისი ბოლომდე ერთხელ წაკითხვა ერთი ეპოქაა. მეორედ წაკითხვისას უკეთ იმახსოვრებ, მაგრამ თუ ზედმეტად ბევრჯერ წაიკითხავ, შეიძლება ტექსტი დაიზეპირო და არა გაიგო.
რატომ არის ეპოქა მნიშვნელოვანი
- ბალანსი – ცოტა ეპოქა მოდელს ბოლომდე ვერ ასწავლის, ზედმეტი კი ზედმეტ მორგებას იწვევს.
- დრო და ხარჯი – ყოველი ეპოქა დამატებით გამოთვლით რესურსს მოითხოვს.
- კონტროლი – ეპოქების შემდეგ ვალიდაციის შედეგს ამოწმებენ.
ეპოქა, ბეჩი და იტერაცია: განსხვავება
ეს სამი ტერმინი ხშირად ერთად გვხვდება და ადვილად ირევა. ბეჩი მონაცემების პატარა ჯგუფია. იტერაცია ერთი ბეჩის დამუშავება და წონების ერთხელ განახლებაა. ეპოქა კი ამ ყველაფრის სრული წრეა: როცა ყველა ბეჩი ერთხელ დამუშავდა. მაგალითად, თუ დატასეტში 10 000 მაგალითია, ბეჩი კი 100 მაგალითისგან შედგება, ერთ ეპოქაში 100 იტერაცია იქნება.
ეპოქების რაოდენობის შერჩევისას ტრენინგის შემდეგ შედეგი ჩვეულებრივ ვალიდაციის მონაცემებზე მოწმდება. თუ დამატებითი ეპოქები ვალიდაციის შედეგს აღარ აუმჯობესებს, სწავლების გაგრძელებას აზრი აღარ აქვს. დიდ ენობრივ მოდელებში ხშირად ეპოქების ნაცვლად დამუშავებული ტოკენების რაოდენობაზე საუბრობენ, რადგან მონაცემები ძალიან დიდია.
ზოგჯერ ტრენინგის განმავლობაში სწავლის ტემპი ეპოქების მიხედვით იცვლება: დასაწყისში უფრო დიდია, შემდეგ თანდათან მცირდება. ასეთ გეგმას სწავლის ტემპის განრიგი ჰქვია. ასევე ხშირია, რომ ყოველი ეპოქის დასაწყისში მონაცემებს შემთხვევითად აურევენ, რათა მოდელმა მაგალითების თანმიმდევრობა არ დაიმახსოვროს და სწავლა უფრო სტაბილური იყოს.
დაკავშირებული ტერმინები
ბეჩი · ზედმეტი მორგება · ჰიპერპარამეტრი · ვალიდაციის ნაკრები · გაწვრთნა · AI ლექსიკონი
ხშირად დასმული კითხვები
რამდენი ეპოქაა საჭირო?
ფიქსირებული რიცხვი არ არსებობს. ის მონაცემებზე, მოდელსა და ამოცანაზეა დამოკიდებული.
რა არის early stopping?
ტრენინგის შეჩერება მაშინ, როცა ვალიდაციის შედეგი აღარ უმჯობესდება.
შეჯამება
ეპოქა მთელი დატასეტის ერთხელ სრულად გავლაა. სწორი რაოდენობა მოდელს კარგად ასწავლის და ზედმეტ მორგებას აარიდებს.