ტოკენი (Token) არის ტექსტის პატარა ნაწილი, ხშირად სიტყვა, სიტყვის ნაწილი ან სასვენი ნიშანი, რომლითაც დიდი ენობრივი მოდელი ტექსტს კითხულობს და წერს. მოდელისთვის ნებისმიერი ტექსტი ტოკენების თანმიმდევრობაა.
როგორ მუშაობს ტოკენიზაცია
სანამ მოდელი პრომპტს დაამუშავებს, სპეციალური პროგრამა, ტოკენაიზერი, ტექსტს ტოკენებად ყოფს და თითოეულს რიცხვით აღნიშნავს. ხშირი სიტყვები შეიძლება ერთ ტოკენად ჩაითვალოს, იშვიათი კი რამდენიმე ნაწილად დაიყოს. პასუხის წერისასაც მოდელი ტოკენ-ტოკენ მოქმედებს: ყოველ ნაბიჯზე ირჩევს შემდეგ სავარაუდო ტოკენს.
სხვადასხვა მოდელს სხვადასხვა ტოკენაიზერი აქვს, ამიტომ ერთი და იგივე ტექსტი სხვადასხვა რაოდენობის ტოკენად შეიძლება დაიყოს. ქართული და სხვა ნაკლებად გავრცელებული ენები ხშირად ინგლისურზე მეტ ტოკენს მოითხოვს იმავე შინაარსისთვის, რადგან ტოკენაიზერები ძირითადად ინგლისურ ტექსტებზე დგება.
რატომ არის ტოკენები მნიშვნელოვანი
- ფასი – API-ით გამოყენებისას გადახდა ჩვეულებრივ ტოკენების რაოდენობით ხდება, ცალკე შემავალ და გამომავალ ტოკენებზე.
- კონტექსტის ფანჯარა – რამდენი ტექსტის „დამახსოვრება“ შეუძლია მოდელს ერთ საუბარში, ტოკენებში იზომება.
- სიჩქარე – მოდელის სისწრაფეს ხშირად წამში გენერირებული ტოკენებით ზომავენ.
ამიტომ ახალი მოდელების ანონსებში ფასები და ლიმიტები ტოკენებშია მოცემული, მაგალითად DeepSeek V4.1 Flash-ის განახლების შესახებ სტატიაში.
პრაქტიკული რჩევები
- გრძელი დოკუმენტის ჩასმამდე დაფიქრდი, ყველა ნაწილი გჭირდება თუ არა.
- API-ით მუშაობისას გამოიყენე პროვაიდერის ტოკენების მთვლელი, რომ ხარჯი წინასწარ შეაფასო.
- ძალიან გრძელ საუბარში მოდელმა შეიძლება ადრეული დეტალები ცუდად გაითვალისწინოს. ასეთ დროს ახალი საუბარი დაიწყე მოკლე შეჯამებით.
ტოკენი და კონტექსტი
როცა მოდელის აღწერაში წერია, რომ მას დიდი კონტექსტის ფანჯარა აქვს, ეს ნიშნავს, რომ ერთ მოთხოვნაში შეგიძლია ბევრი ტოკენი გადასცე: გრძელი დოკუმენტი, საუბრის ისტორია ან კოდის ფაილები. ამ ლიმიტში ითვლება როგორც შენი ტექსტი, ისე მოდელის პასუხიც. თუ ლიმიტი გადაივსება, ძველი ნაწილი ან ჩამოიჭრება, ან მოთხოვნა შეცდომას დააბრუნებს. ამიტომ დიდ დოკუმენტებთან მუშაობისას ხშირად იყენებენ RAG-ს, რომელიც მოდელს მთლიანი ტექსტის ნაცვლად მხოლოდ საჭირო ნაწილებს აწვდის. ტოკენების დაზოგვა კი პირდაპირ ამცირებს როგორც ხარჯს, ისე პასუხის დაყოვნებას.
დაკავშირებული ტერმინები
LLM · კონტექსტის ფანჯარა · API · ტრანსფორმერი · ემბედინგი
ხშირად დასმული კითხვები
რამდენი სიტყვაა ერთი ტოკენი?
ფიქსირებული თანაფარდობა არ არსებობს. ეს დამოკიდებულია ენაზე და მოდელის ტოკენაიზერზე. ქართული ტექსტი, როგორც წესი, ინგლისურზე მეტ ტოკენს იკავებს.
რატომ ვიხდი ტოკენებში?
მოდელის გაშვების ხარჯი პირდაპირ უკავშირდება დამუშავებული და გენერირებული ტოკენების რაოდენობას, ამიტომ API პროვაიდერები ფასს ტოკენებზე ითვლიან.
ტოკენი და კრიპტოვალუტის ტოკენი ერთი და იგივეა?
არა. AI-ში ტოკენი ტექსტის ერთეულია და კრიპტოვალუტის ტოკენებთან კავშირი არ აქვს.
შეჯამება
ტოკენი არის ერთეული, რომლითაც AI მოდელი ტექსტს ხედავს. მისი გაგება გეხმარება აუხსნა საკუთარ თავს მოდელის ფასი, ლიმიტები და ის, რატომ „ავიწყდება“ გრძელ საუბარში ადრეული დეტალები.