ყურადღების მექანიზმი (Attention mechanism)

ყურადღების მექანიზმი (Attention mechanism) – მექანიზმი, რომლითაც მოდელი წყვეტს, ტექსტის რომელ ნაწილებს მიაქციოს მეტი ყურადღება. ტრანსფორმერის საფუძველია.

როგორ მუშაობს ყურადღების მექანიზმი

ყურადღების მექანიზმი (attention mechanism) მოდელს საშუალებას აძლევს, ყოველი სიტყვის დამუშავებისას განსაზღვროს, ტექსტის რომელი სხვა ნაწილებია მისთვის ყველაზე მნიშვნელოვანი. თითოეული ტოკენი „ეკითხება“ დანარჩენებს, რამდენად შესაბამისნი არიან, და მათგან ინფორმაციას შესაბამისი წონით აგროვებს. თვით-ყურადღება (self-attention) ტრანსფორმერის მთავარი ინოვაციაა, რომელიც 2017 წლის სტატიაში „Attention Is All You Need“ წარადგინეს.

მაგალითი ყოველდღიური ცხოვრებიდან

წინადადებაში „ნინომ წიგნი მარიამს აჩუქა, რადგან მას ძალიან უყვარს კითხვა“ სიტყვა „მას“-ის გასაგებად მოდელი ყურადღებას „მარიამზე“ ამახვილებს.

რატომ არის ყურადღების მექანიზმი მნიშვნელოვანი

• კონტექსტის გაგება – მოდელი შორეულ სიტყვებს შორის კავშირებსაც პოულობს.
• პარალელიზმი – მთელი ტექსტის ერთდროული დამუშავება ტრენინგს ბევრად აჩქარებს.
• ხარჯი – ყურადღების გამოთვლა გრძელ ტექსტზე ძვირდება, ამიტომ მკვლევრები მის ეფექტურ ვარიანტებს ქმნიან.

ყურადღების მექანიზმის სახეები

ყურადღების გამოთვლაში მონაწილეობს სამი ვექტორი, რომლებიც ყოველი ტოკენისთვის იქმნება: მოთხოვნა (query), გასაღები (key) და მნიშვნელობა (value). ტოკენის მოთხოვნა ედარება სხვა ტოკენების გასაღებებს, და რაც უფრო მსგავსია ისინი, მით მეტ წონას იღებს შესაბამისი მნიშვნელობა საბოლოო შედეგში.

თვითყურადღებისას ტოკენები ერთი და იმავე ტექსტის სხვა ტოკენებს უყურებენ. ჯვარედინ ყურადღებაში კი ერთი თანმიმდევრობა მეორეს უყურებს, მაგალითად თარგმანისას დეკოდერი წყარო ტექსტის ენკოდერის წარმოდგენას. მრავალთავიანი ყურადღება ამ პროცესს რამდენიმე პარალელურ „თავში“ ატარებს, და თითოეულს შეუძლია სხვადასხვა ტიპის კავშირის დაჭერა.

ყურადღების ხარჯი ტექსტის სიგრძის კვადრატის პროპორციულად იზრდება: ორჯერ გრძელი ტექსტი დაახლოებით ოთხჯერ მეტ გამოთვლას მოითხოვს. ამიტომ გრძელი კონტექსტისთვის შეიქმნა ოპტიმიზებული ალგორითმები, მაგალითად FlashAttention, და ყურადღების გამარტივებული ვარიანტები.

ეს მექანიზმი ტრანსფორმერამდე გამოჩნდა, 2014 წელს მანქანური თარგმანის კვლევებში, როგორც RNN-ების დამატება. 2017 წლის ნაშრომმა „Attention Is All You Need“ აჩვენა, რომ შეიძლება მხოლოდ ყურადღებაზე დაფუძნებული ქსელის აგება.

დაკავშირებული ტერმინები

ტრანსფორმერი · ტოკენი · კონტექსტის ფანჯარა · რეკურენტული ნეირონული ქსელი · ენკოდერი · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

ყურადღების მექანიზმი მოდელს ეხმარება, ყოველი სიტყვისთვის ტექსტის ყველაზე მნიშვნელოვანი ნაწილები იპოვოს. ის ტრანსფორმერებისა და დღევანდელი LLM-ების გულია.