რეკურენტული ნეირონული ქსელი (RNN, Recurrent neural network) – ქსელი, რომელიც მონაცემს თანმიმდევრობით ამუშავებს და წინა ნაბიჯებს „იმახსოვრებს“. ტექსტში ტრანსფორმერებმა ჩაანაცვლეს.
როგორ მუშაობს რეკურენტული ნეირონული ქსელი
რეკურენტული ნეირონული ქსელი (RNN) მიმდევრობით მონაცემებს, მაგალითად ტექსტს ან დროით რიგებს, ელემენტ-ელემენტ ამუშავებს. ყოველ ნაბიჯზე ის ინახავს შიდა „მეხსიერებას“ (ფარულ მდგომარეობას), რომელიც წინა ელემენტების შესახებ ინფორმაციას ატარებს. გაუმჯობესებული ვარიანტები, LSTM და GRU, გრძელ მიმდევრობებში ინფორმაციას უკეთ ინახავს. ტრანსფორმერებამდე RNN-ები თარგმნისა და მეტყველების ამოცნობის მთავარი ინსტრუმენტი იყო.
მაგალითი ყოველდღიური ცხოვრებიდან
როცა წიგნს კითხულობ, ყოველ ახალ წინადადებას წინა წინადადებების გახსენებით იგებ. RNN-იც ასე „კითხულობს“: სიტყვა-სიტყვით და წინას მეხსიერებით.
რატომ არის რეკურენტული ნეირონული ქსელი მნიშვნელოვანი
- ისტორია – RNN-ებმა ენისა და მეტყველების დამუშავებაში დიდი პროგრესი მოიტანეს.
- შეზღუდვა – ნელია, რადგან მიმდევრობას თანმიმდევრულად ამუშავებს, და გრძელ ტექსტში ადრეულ დეტალებს ივიწყებს.
- განვითარება – ტრანსფორმერებმა ამ პრობლემებს ყურადღების მექანიზმით უპასუხეს.
RNN-ის ვარიანტები და შეზღუდვები
ჩვეულებრივ RNN-ს უჭირს გრძელი თანმიმდევრობის დამახსოვრება: ინფორმაცია, რომელიც ბევრი ნაბიჯის წინ შევიდა, თანდათან ქრება. ტრენინგისას ეს გამოიხატება გრადიენტების გაქრობით, როცა სიგნალი შორეულ ნაბიჯებამდე თითქმის ნულამდე მცირდება.
ამ პრობლემის გადასაჭრელად შეიქმნა LSTM, რომელსაც სპეციალური „კარიბჭეები“ აქვს: ისინი წყვეტენ, რა ინფორმაცია შეინახოს, რა დაივიწყოს და რა გადასცეს შემდეგ ნაბიჯს. GRU მსგავსი, ოდნავ მარტივი ვარიანტია. ორივე წლების განმავლობაში თარგმანში, მეტყველების ამოცნობასა და ტექსტის გენერაციაში დომინირებდა.
RNN-ის კიდევ ერთი შეზღუდვაა, რომ ტექსტს მკაცრად თანმიმდევრულად, სიტყვა-სიტყვით ამუშავებს, ამიტომ ტრენინგის პარალელიზაცია რთულია. ტრანსფორმერმა ყურადღების მექანიზმით ყველა სიტყვა ერთდროულად დაამუშავა, რამაც ტრენინგი ბევრად დააჩქარა და RNN-ები უმეტეს ამოცანაში ჩაანაცვლა.
თუმცა იდეა არ გამქრალა. ბოლო წლებში ჩნდება ახალი არქიტექტურები, მაგალითად მდგომარეობის სივრცის მოდელები, რომლებიც RNN-ის მსგავსად მუდმივი ზომის მეხსიერებით მუშაობს და ძალიან გრძელ ტექსტებზე ეფექტური ცდილობს იყოს.
დაკავშირებული ტერმინები
ტრანსფორმერი · ყურადღების მექანიზმი · კონვოლუციური ნეირონული ქსელი · ნეირონული ქსელი · ნატურალური ენის დამუშავება · AI ლექსიკონი
ხშირად დასმული კითხვები
დღეს RNN-ები გამოიყენება?
ნაკლებად, ვიდრე ადრე, თუმცა ზოგ ამოცანაში და ახალ ჰიბრიდულ არქიტექტურებში მისი იდეები კვლავ ცოცხალია.
რა არის LSTM?
RNN-ის ვარიანტი სპეციალური „კარიბჭეებით“, რომლებიც წყვეტენ, რა დაიმახსოვროს და რა დაივიწყოს.
შეჯამება
რეკურენტული ნეირონული ქსელი მიმდევრობებს მეხსიერებით ამუშავებს. ის ტრანსფორმერების წინამორბედი და ენის დამუშავების მნიშვნელოვანი ეტაპი იყო.