კვანტიზაცია (Quantization) – მოდელის რიცხვების სიზუსტის შემცირება (მაგ. 16 ბიტიდან 4 ბიტამდე), რომ მოდელმა ნაკლები მეხსიერება დაიკავოს და უფრო სწრაფად იმუშაოს.
როგორ მუშაობს კვანტიზაცია
მოდელის წონები ჩვეულებრივ ინახება მაღალი სიზუსტის რიცხვებად, მაგალითად 16-ბიტიანად. კვანტიზაცია (quantization) ამ რიცხვებს ნაკლებ ბიტზე, მაგალითად 8 ან 4 ბიტზე, გადაიყვანს. შედეგად მოდელი მეხსიერებაში რამდენჯერმე ნაკლებ ადგილს იკავებს და ხშირად უფრო სწრაფად მუშაობს. ფასად ხარისხის მცირე დანაკარგია, რომელიც კარგი მეთოდებით მინიმალურია.
მაგალითი ყოველდღიური ცხოვრებიდან
ეს ფოტოს შეკუმშვას ჰგავს: მაღალი ხარისხის ფოტოს შეკუმშავ, ფაილი ბევრად პატარა ხდება, თვალით კი სხვაობას თითქმის ვერ ამჩნევ. ასევე, კვანტიზებული ღია მოდელი შეიძლება ჩვეულებრივ ლეპტოპზე გაეშვას.
რატომ არის კვანტიზაცია მნიშვნელოვანი
- ლოკალური გაშვება – კვანტიზაციის წყალობით დიდი ღია მოდელები პერსონალურ კომპიუტერებზეც მუშაობს.
- ხარჯი – ნაკლები მეხსიერება ნიშნავს იაფ აპარატურას და იაფ ინფერენსს.
- კომპრომისი – ძალიან ძლიერი კვანტიზაცია ხარისხს შესამჩნევად აუარესებს.
კვანტიზაციის სახეები
კვანტიზაცია ძირითადად ორი გზით ხდება. ტრენინგის შემდგომი კვანტიზაციისას უკვე მზა მოდელის წონებს ნაკლებ ბიტზე გადაიყვანენ. ეს სწრაფი და იაფია, ამიტომ ღია მოდელების უმეტესობის შეკუმშული ვერსიები სწორედ ასე იქმნება. კვანტიზაციის გათვალისწინებით ტრენინგისას კი მოდელი თავიდანვე სწავლობს დაბალ სიზუსტეზე მუშაობას, რაც ხარისხს უკეთ ინარჩუნებს.
ასევე განსხვავდება, რა კვანტიზდება. ზოგჯერ მხოლოდ წონებს კუმშავენ, ზოგჯერ კი აქტივაციებსაც, რაც გამოთვლას კიდევ უფრო აჩქარებს, მაგრამ უფრო რთულია. ხშირად მოდელის სხვადასხვა ნაწილს სხვადასხვა სიზუსტე ენიჭება: მგრძნობიარე ფენები უფრო ზუსტად ინახება, დანარჩენი კი უფრო მეტად იკუმშება.
ლოკალური მოდელების სამყაროში ცნობილია სპეციალური ფაილის ფორმატები, მაგალითად GGUF, რომლებიც კვანტიზებული მოდელების ჩვეულებრივ კომპიუტერზე გასაშვებად გამოიყენება. ვერსიის არჩევისას ჯობს ჯერ საშუალო სიზუსტე სცადო და შედეგი შენს ამოცანაზე შეამოწმო.
კვანტიზაციის შედეგად ზოგი უნარი სხვებზე მეტად ზარალდება, მაგალითად ზუსტი გამოთვლა ან იშვიათ ენებზე წერა.
დაკავშირებული ტერმინები
მოდელის წონები · ღია კოდის მოდელი · ინფერენსი · დისტილაცია · GPU / AI ჩიპი · AI ლექსიკონი
ხშირად დასმული კითხვები
რას ნიშნავს Q4 ან 4-bit მოდელის სახელში?
რომ მოდელის წონები დაახლოებით 4 ბიტზეა შენახული.
კვანტიზაცია ცვლის მოდელის ცოდნას?
ახალს არაფერს ამატებს, უბრალოდ არსებულ წონებს ნაკლები სიზუსტით ინახავს.
შეჯამება
კვანტიზაცია მოდელს წონების სიზუსტის შემცირებით კუმშავს. ასე მოდელი უფრო მსუბუქი, სწრაფი და იაფი ხდება.