Top-p (Nucleus sampling) – პარამეტრი, რომლითაც მოდელი შემდეგ ტოკენს მხოლოდ ყველაზე სავარაუდო ვარიანტებიდან ირჩევს.
როგორ მუშაობს Top-p
Top-p, ანუ ბირთვული სემპლინგი (nucleus sampling), განსაზღვრავს, რომელი ტოკენებიდან აირჩიოს მოდელმა შემდეგი. მოდელი ტოკენებს ალბათობის მიხედვით ალაგებს და იღებს ყველაზე სავარაუდოებს, სანამ მათი ჯამური ალბათობა p-ს არ მიაღწევს (მაგ. 0.9). შემდეგი ტოკენი მხოლოდ ამ „ბირთვიდან“ შეირჩევა, ძალიან ნაკლებად სავარაუდო ვარიანტები კი გამოირიცხება.
მაგალითი ყოველდღიური ცხოვრებიდან
თუ წინადადებაა „დღეს ამინდი…“, ყველაზე სავარაუდო გაგრძელებებია „მზიანია“, „ცუდია“, „თბილია“. Top-p ამ ვარიანტებს შორის აირჩევს და გამორიცხავს უცნაურ გაგრძელებებს, როგორიცაა „ბანანია“.
რატომ არის Top-p მნიშვნელოვანი
- ბალანსი – პასუხი მრავალფეროვანია, მაგრამ არა აბსურდული.
- ტემპერატურასთან ერთად – ხშირად ორივე პარამეტრი ერთად რეგულირდება.
- API – top_p პარამეტრი ბევრ API-შია ხელმისაწვდომი.
Top-p და top-k: განსხვავება
ორივე მეთოდი ტოკენის არჩევის არეალს ავიწროებს, მაგრამ სხვადასხვაგვარად. top-k ყოველთვის ტოვებს ფიქსირებული რაოდენობის, k ყველაზე სავარაუდო ტოკენს, მაგალითად ორმოცს. top-p კი ტოვებს იმდენ ტოკენს, რამდენიც საჭიროა, რომ მათი ჯამური ალბათობა მიუთითებელ ზღვარს, მაგალითად 0.9-ს, მიაღწიოს.
top-p-ის უპირატესობა მოქნილობაა. როცა მოდელი დარწმუნებულია და ერთ ტოკენს ძალიან მაღალი ალბათობა აქვს, არჩევანი ერთ ან ორ ტოკენამდე მცირდება. როცა ბევრი ვარიანტი თანაბრად შესაფერისია, მაგალითად მოთხრობის შემდეგი სიტყვა, არჩევანი ფართოვდება. top-k ამ განსხვავებას ვერ ითვალისწინებს.
მეთოდს ბირთვულ სემპლინგსაც (nucleus sampling) უწოდებენ. ის 2019 წელს კვლევაში შემოგვთავაზეს, რომელიც აჩვენებდა, რომ ყველაზე სავარაუდო ტოკენების ხარბი არჩევა გრძელ ტექსტში ხშირად მოსაწყენ და განმეორებად ფრაზებს იწვევს.
პრაქტიკაში top-p 1-ის ტოლი ნიშნავს, რომ შეზღუდვა გამორთულია. ზღვრის შემცირება პასუხს უფრო ფოკუსირებულს ხდის. ტემპერატურა და top-p ერთმანეთზე მოქმედებს, ამიტომ ორივეს ერთდროული მკვეთრი შეცვლა შედეგს ძნელად პროგნოზირებადს ხდის.
დაკავშირებული ტერმინები
ტემპერატურა · ლოგიტები · ტოკენი · ინფერენსი · LLM · AI ლექსიკონი
ხშირად დასმული კითხვები
რით განსხვავდება top-k-სგან?
top-k ყოველთვის ფიქსირებული რაოდენობის ტოკენს იღებს, top-p კი ალბათობის ჯამის მიხედვით რაოდენობას ცვლის.
ტემპერატურა და top-p ერთად უნდა შევცვალო?
ხშირად რეკომენდებულია ერთის შეცვლა და მეორის ნაგულისხმევზე დატოვება.
შეჯამება
Top-p ზღუდავს შემდეგი ტოკენის არჩევანს ყველაზე სავარაუდო ვარიანტებით. ის პასუხის მრავალფეროვნებასა და სანდოობას შორის ბალანსს ქმნის.