პარამეტრი (Parameter) – მოდელის შიდა რიცხვი, რომელიც ტრენინგისას ისწავლება. დიდ მოდელებს მილიარდობით პარამეტრი აქვთ.
როგორ მუშაობს პარამეტრი
პარამეტრი (parameter) მოდელის შიგნით არსებული რიცხვია, რომელიც ტრენინგის დროს თავად მოდელი სწავლობს. ძირითადად ეს ნეირონებს შორის კავშირების წონები და bias-ებია. პარამეტრების რაოდენობა მოდელის ზომის მთავარი საზომია: ხშირად გესმის „7B“ ან „70B“, რაც ნიშნავს 7 ან 70 მილიარდ პარამეტრს. მეტი პარამეტრი, როგორც წესი, მეტ შესაძლებლობას ნიშნავს, მაგრამ მეტ მეხსიერებასა და გამოთვლასაც მოითხოვს.
მაგალითი ყოველდღიური ცხოვრებიდან
წარმოიდგინე რეცეპტი, სადაც თითოეული ინგრედიენტის რაოდენობა ბევრი ცდით უნდა შეარჩიო. ყოველი ასეთი რაოდენობა „პარამეტრია“. დიდ მოდელს ასეთი „რაოდენობები“ მილიარდობით აქვს.
რატომ არის პარამეტრი მნიშვნელოვანი
- მოდელის ზომა – პარამეტრების რაოდენობით ადარებენ მოდელებს ერთმანეთს.
- ხარჯი – მეტი პარამეტრი მეტ GPU-ს და ენერგიას საჭიროებს.
- არა ერთადერთი ფაქტორი – ხარისხი დამოკიდებულია მონაცემებზე და ტრენინგზეც, ამიტომ პატარა მოდელი ზოგჯერ დიდს უსწრებს.
პარამეტრი და ჰიპერპარამეტრი: განსხვავება
პარამეტრებს მოდელი ტრენინგისას თავად სწავლობს: ესაა წონები და გადახრები, რომლებიც მონაცემებზე დაყრდნობით იცვლება. ჰიპერპარამეტრებს კი ადამიანი ირჩევს ტრენინგის დაწყებამდე: სწავლის ტემპი, ბეჩის ზომა, ფენების რაოდენობა. მარტივად, პარამეტრები მოდელის ცოდნაა, ჰიპერპარამეტრები კი სწავლის წესები.
პარამეტრების რაოდენობა მოდელის ზომის ყველაზე გავრცელებული საზომია და ხშირად სახელშივე ჩანს, მაგალითად „7B“ ნიშნავს დაახლოებით შვიდ მილიარდ პარამეტრს. რაც მეტია პარამეტრი, მით მეტი მეხსიერება და გამოთვლა სჭირდება მოდელის გაშვებას.
თუმცა პარამეტრების რაოდენობა ხარისხის ერთადერთი საზომი არ არის. მონაცემების მოცულობა და ხარისხი, ტრენინგის ხანგრძლივობა და არქიტექტურა ასევე გადამწყვეტია. კარგ მონაცემებზე დიდხანს გაწვრთნილ პატარა მოდელს შეუძლია უფრო დიდი, ნაკლებად კარგად გაწვრთნილი მოდელის აჯობოს.
ზოგ არქიტექტურაში, მაგალითად ექსპერტების ნარევში, ყველა პარამეტრი ერთდროულად არ მუშაობს. ასეთ მოდელებს ორ რიცხვს უთითებენ: პარამეტრების საერთო რაოდენობას და იმას, რამდენი გამოიყენება ერთი ტოკენის დამუშავებისას.
დაკავშირებული ტერმინები
მოდელის წონები · ჰიპერპარამეტრი · LLM · მცირე ენობრივი მოდელი · ექსპერტების ნაზავი · AI ლექსიკონი
ხშირად დასმული კითხვები
რით განსხვავდება ჰიპერპარამეტრისგან?
პარამეტრებს მოდელი თავად სწავლობს, ჰიპერპარამეტრებს კი ადამიანი ტრენინგამდე არჩევს.
რას ნიშნავს „აქტიური პარამეტრები“?
MoE მოდელებში ყოველ ნაბიჯზე პარამეტრების მხოლოდ ნაწილი მუშაობს. ეს ნაწილი აქტიური პარამეტრებია.
შეჯამება
პარამეტრები მოდელის შიდა რიცხვებია, რომლებსაც ის ტრენინგისას სწავლობს. მათი რაოდენობა მოდელის ზომის მთავარი საზომია.