დეკოდერი (Decoder)

დეკოდერი (Decoder) – მოდელის ნაწილი, რომელიც შიდა წარმოდგენიდან შედეგს ქმნის, მაგალითად ტექსტს ტოკენ-ტოკენ.

როგორ მუშაობს დეკოდერი

ტრანსფორმერის თავდაპირველ არქიტექტურას ორი ნაწილი ჰქონდა: ენკოდერი, რომელიც შემავალ ტექსტს იგებს, და დეკოდერი, რომელიც გამომავალ ტექსტს ქმნის. დეკოდერი ტექსტს ტოკენ-ტოკენ წერს: ყოველ ნაბიჯზე უყურებს უკვე დაწერილ ნაწილს და ირჩევს შემდეგ ტოკენს. GPT-ის ტიპის თანამედროვე ჩატ-მოდელების უმეტესობა მხოლოდ დეკოდერზეა (decoder-only) აგებული.

მაგალითი ყოველდღიური ცხოვრებიდან

როცა ჩატბოტს კითხვას უსვამ და პასუხი ეკრანზე სიტყვა-სიტყვით ჩნდება, სწორედ დეკოდერი მუშაობს: ის ყოველ ჯერზე შემდეგ ტოკენს ამატებს.

რატომ არის დეკოდერი მნიშვნელოვანი

• გენერაცია – დეკოდერი ტექსტის შექმნის უნარის საფუძველია.
• არქიტექტურა – decoder-only მოდელები დღეს LLM-ების დომინანტური ტიპია.
• სიჩქარე – ტოკენ-ტოკენ გენერაციის გამო გრძელი პასუხი მეტ დროს მოითხოვს.

დეკოდერი და ენკოდერი: განსხვავება

ენკოდერი და დეკოდერი ერთი არქიტექტურის ორი ნაწილია, მაგრამ განსხვავებული ამოცანით. ენკოდერი მთელ შემავალ ტექსტს ერთდროულად ხედავს და მის შინაარსს რიცხვით წარმოდგენად აქცევს. დეკოდერი კი ტექსტს მარცხნიდან მარჯვნივ ქმნის და ყოველ ნაბიჯზე მხოლოდ უკვე დაწერილ ნაწილს უყურებს, რადგან მომავალი სიტყვები ჯერ არ იცის.

ამიტომ ენკოდერები უფრო ხშირად გამოიყენება ტექსტის გასაგებად, მაგალითად ძიებასა და კლასიფიკაციაში, დეკოდერები კი ტექსტის შესაქმნელად. ზოგი მოდელი ორივეს იყენებს: ენკოდერი კითხულობს წყაროს, დეკოდერი კი პასუხს წერს. თარგმნის ადრეული ნეირონული სისტემები სწორედ ასე მუშაობდა. დღეს კი დეკოდერზე აგებული დიდი მოდელები თარგმნასაც და გაგებასაც საკმაოდ კარგად ართმევენ თავს.

დეკოდერის ერთი მნიშვნელოვანი ტექნიკური დეტალია „ნიღაბი“ (mask). ტრენინგისას მოდელს ერთდროულად აძლევენ მთელ წინადადებას, მაგრამ ნიღაბი უზრუნველყოფს, რომ ყოველ პოზიციაზე მან მხოლოდ წინა სიტყვები დაინახოს და მომდევნოებს ვერ „ჩაიხედოს“. ასე ტრენინგი პარალელურად მიმდინარეობს, თუმცა მოდელი მაინც სწავლობს ტექსტის თანმიმდევრულ, სიტყვა-სიტყვით შექმნას.

ამის გამო გრძელი პასუხის გენერაცია მოკლეზე მეტ დროს მოითხოვს.

დაკავშირებული ტერმინები

ენკოდერი · ტრანსფორმერი · ტოკენი · LLM · ყურადღების მექანიზმი · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

დეკოდერი ნეირონული ქსელის ნაწილია, რომელიც შედეგს, მაგალითად ტექსტს, ნაბიჯ-ნაბიჯ ქმნის. დღევანდელი ჩატ-მოდელების უმეტესობა დეკოდერზეა აგებული.