აქტივაციის ფუნქცია (Activation function) – ფუნქცია ნეირონში (მაგ. ReLU), რომელიც წყვეტს, რა სიგნალი გადაეცეს შემდეგ ფენას. მის გარეშე ქსელი რთულ კანონზომიერებებს ვერ ისწავლიდა.
როგორ მუშაობს აქტივაციის ფუნქცია
ნეირონი თავის შემავალ მნიშვნელობებს წონებით ამრავლებს და აჯამებს, შემდეგ კი ამ ჯამს აქტივაციის ფუნქციაში ატარებს. ფუნქცია წყვეტს, რა სიძლიერის სიგნალი გადავიდეს შემდეგ ფენაზე. მაგალითად, ReLU უარყოფით მნიშვნელობებს ნულად აქცევს, დადებითს კი უცვლელად ტოვებს. სწორედ ასეთი არაწრფივი ფუნქციები აძლევს ქსელს რთული კანონზომიერებების სწავლის საშუალებას.
მაგალითი ყოველდღიური ცხოვრებიდან
წარმოიდგინე ონკანი: წყლის წნევა (შემავალი ჯამი) მოდის, ონკანი კი წყვეტს, რამდენი წყალი გაუშვას. აქტივაციის ფუნქცია ასეთი ონკანია თითოეული ნეირონისთვის.
რატომ არის აქტივაციის ფუნქცია მნიშვნელოვანი
- არაწრფივობა – მის გარეშე ღრმა ქსელი ერთ მარტივ წრფივ ფორმულაზე მეტს ვერაფერს ისწავლიდა.
- სწავლის სიჩქარე – ფუნქციის არჩევანი გავლენას ახდენს იმაზე, რამდენად სტაბილურად სწავლობს ქსელი.
- გავრცელება – ReLU, GELU, sigmoid და tanh ყველაზე ცნობილი ვარიანტებია.
აქტივაციის ფუნქციის სახეები
ყველაზე ცნობილი ფუნქციებიდან sigmoid ნებისმიერ რიცხვს 0-სა და 1-ს შორის მნიშვნელობად აქცევს, ამიტომ მოსახერხებელია ალბათობის გამოსათვლელად. tanh მსგავსია, ოღონდ შედეგს -1-სა და 1-ს შორის აბრუნებს. ღრმა ქსელებში ამ ფუნქციებს ერთი პრობლემა აქვთ: დიდ მნიშვნელობებზე მათი ცვლილება თითქმის ნულია, რაც სწავლას ანელებს.
ReLU ამ პრობლემას მარტივად უმკლავდება: უარყოფით რიცხვს ნულად აქცევს, დადებითს კი ტოვებს. ის სწრაფად ითვლება და ამიტომ დიდი ხანი სტანდარტად ითვლებოდა. თანამედროვე ენობრივ მოდელებში ხშირად გვხვდება მისი უფრო გლუვი ვარიანტები, მაგალითად GELU და SwiGLU. გამომავალ ფენაში კი კლასიფიკაციისთვის ხშირად softmax გამოიყენება, რომელიც ქულებს ალბათობების განაწილებად აქცევს.
აქტივაციის ფუნქციის არჩევა ქსელის ტიპსა და ფენის როლზეა დამოკიდებული. ფარულ ფენებში მთავარია, რომ ფუნქცია სწრაფად ითვლებოდეს და სწავლას ხელს არ უშლიდეს. გამომავალ ფენაში კი ფუნქცია შედეგის ფორმას განსაზღვრავს: ალბათობისთვის sigmoid ან softmax გამოიყენება, უწყვეტი რიცხვის პროგნოზისთვის კი ხშირად აქტივაციას საერთოდ არ იყენებენ.
დაკავშირებული ტერმინები
ნეირონული ქსელი · ფენა · ღრმა სწავლება · უკუგავრცელება · პარამეტრი · AI ლექსიკონი
ხშირად დასმული კითხვები
რომელი აქტივაციის ფუნქცია გამოიყენება ტრანსფორმერებში?
ხშირად GELU ან მისი მსგავსი ვარიანტები, თუმცა არჩევანი მოდელზეა დამოკიდებული.
ჩვეულებრივ მომხმარებელს სჭირდება ამის ცოდნა?
არა, მაგრამ ეს გეხმარება გაიგო, როგორ მუშაობს ნეირონული ქსელი შიგნიდან.
შეჯამება
აქტივაციის ფუნქცია წყვეტს, რა სიგნალი გადასცეს ნეირონმა შემდეგ ფენას. ის ნეირონულ ქსელს რთული დამოკიდებულებების სწავლის უნარს აძლევს.