ფენა (Layer) – ნეირონული ქსელის ერთი დონე. მონაცემი ფენიდან ფენაში გადადის და ყოველ ჯერზე მუშავდება.
როგორ მუშაობს ფენა
ნეირონული ქსელი ფენებად (layers) არის ორგანიზებული. თითოეული ფენა ნეირონების ჯგუფია, რომელიც წინა ფენიდან იღებს მონაცემს, ამუშავებს და შემდეგს გადასცემს. შემავალი ფენა მონაცემს იღებს, ფარული ფენები მას თანდათან უფრო აბსტრაქტულ წარმოდგენად აქცევს, გამომავალი ფენა კი შედეგს იძლევა. „ღრმა“ სწავლება სწორედ ფენების დიდ რაოდენობას ნიშნავს. ტრანსფორმერში ფენები ყურადღების მექანიზმისა და სხვა ბლოკებისგან შედგება.
მაგალითი ყოველდღიური ცხოვრებიდან
სურათის ამოცნობისას პირველი ფენები ამჩნევს ხაზებსა და კიდეებს, შუა ფენები ფორმებს, მაგალითად თვალს ან ცხვირს, ბოლო ფენები კი ასკვნის, რომ ეს ადამიანის სახეა.
რატომ არის ფენა მნიშვნელოვანი
- აბსტრაქცია – ფენა-ფენა დამუშავება რთული კანონზომიერებების სწავლის საშუალებას იძლევა.
- მოდელის ზომა – ფენების რაოდენობა და სიგანე მოდელის ზომას და შესაძლებლობას განსაზღვრავს.
- არქიტექტურა – სხვადასხვა ტიპის ფენა (კონვოლუციური, ყურადღების და სხვ.) სხვადასხვა ამოცანას ერგება.
ფენების სახეები
სრულად დაკავშირებულ ფენაში თითოეული ნეირონი წინა ფენის ყველა ნეირონთან არის დაკავშირებული. ეს უმარტივესი და ყველაზე უნივერსალური ტიპია. კონვოლუციური ფენა პატარა ფილტრებით მუშაობს და სურათებში ლოკალურ ნიმუშებს პოულობს. რეკურენტული ფენა თანმიმდევრობას ნაბიჯ-ნაბიჯ ამუშავებს და წინა ნაბიჯის მდგომარეობას ინახავს.
ტრანსფორმერის ბლოკი რამდენიმე ნაწილისგან შედგება: ყურადღების ფენა, რომელიც ტოკენებს ერთმანეთს უკავშირებს, და პირდაპირი გავლის ქსელი, რომელიც თითოეულ ტოკენს ცალკე ამუშავებს. მათ ემატება ნორმალიზაციის ფენები და გადახტომის კავშირები, რომლებიც ღრმა ქსელის სწავლას ასტაბილურებს.
არსებობს დამხმარე ფენებიც. ემბედინგის ფენა ტოკენებს ვექტორებად აქცევს, dropout ტრენინგისას ნეირონების ნაწილს შემთხვევით თიშავს ზედმეტი მორგების შესამცირებლად, ბოლო ფენა კი მოდელის საბოლოო პასუხს ქმნის, მაგალითად ლოგიტებს.
ფენების რაოდენობას ქსელის სიღრმე ჰქვია. დიდ ენობრივ მოდელებს ათეულობით ფენა აქვთ, და კვლევები აჩვენებს, რომ ადრეული ფენები უფრო მარტივ ნიშნებს ამუშავებს, მოგვიანებითი კი უფრო აბსტრაქტულ მნიშვნელობებს.
დაკავშირებული ტერმინები
ნეირონული ქსელი · ღრმა სწავლება · აქტივაციის ფუნქცია · ტრანსფორმერი · პარამეტრი · AI ლექსიკონი
ხშირად დასმული კითხვები
რამდენი ფენა აქვს დიდ ენობრივ მოდელს?
ხშირად ათეულობით ან მეტი, მოდელის ზომის მიხედვით.
მეტი ფენა ყოველთვის უკეთესია?
არა ყოველთვის. ზედმეტად ღრმა ქსელი სწავლისას პრობლემებს ქმნის და მეტ რესურსს მოითხოვს.
შეჯამება
ფენა ნეირონების ჯგუფია, რომელიც მონაცემს ამუშავებს და შემდეგს გადასცემს. ბევრი ფენის ერთად მუშაობა ქმნის ღრმა სწავლების ძალას.