ტრანსფორმერი (Transformer) არის ნეირონული ქსელის არქიტექტურა, რომელიც 2017 წელს Google-ის მკვლევრებმა სტატიაში „Attention Is All You Need“ წარმოადგინეს. მასზეა აგებული თანამედროვე დიდი ენობრივი მოდელების უმეტესობა. GPT-ში ასო „T“ სწორედ Transformer-ს ნიშნავს.
რა არის „ყურადღების“ მექანიზმი
ტრანსფორმერის მთავარი იდეაა ყურადღება (attention). ტექსტის დამუშავებისას მოდელი ყოველი სიტყვისთვის ადგენს, წინადადების რომელ სხვა სიტყვებზე „გაამახვილოს ყურადღება“. მაგალითად, წინადადებაში „მოსწავლემ წიგნი ჩანთაში ჩადო, რადგან ის მძიმე იყო“ მოდელმა უნდა გაიგოს, რომ „ის“ წიგნს ან ჩანთას ეხება და არა მოსწავლეს. ყურადღების მექანიზმი ასეთ კავშირებს ტექსტის შორეულ ნაწილებს შორისაც ამჩნევს.
რატომ იყო გარღვევა
- პარალელურობა – ძველი რეკურენტული ქსელები ტექსტს სიტყვა-სიტყვით, თანმიმდევრულად ამუშავებდნენ. ტრანსფორმერი მთელ ტექსტს ერთდროულად ხედავს, რაც GPU-ზე წვრთნას ბევრად აჩქარებს.
- მასშტაბირება – აღმოჩნდა, რომ ტრანსფორმერები სულ უფრო უკეთ მუშაობენ, როცა იზრდება მოდელის ზომა, მონაცემები და გამოთვლები. ამან გზა გაუხსნა დიდ ენობრივ მოდელებს.
- უნივერსალურობა – არქიტექტურა ტექსტის გარდა სურათებზე, აუდიოზე და ვიდეოზეც მუშაობს.
სად გვხვდება
- ჩატბოტები და ასისტენტები, რომლებიც LLM-ებზე მუშაობს;
- მანქანური თარგმანი;
- მულტიმოდალური მოდელები;
- ემბედინგის მოდელები ძებნისთვის.
როგორ იყენებს ამ არქიტექტურას ChatGPT, ახსნილია სტატიაში რა არის ChatGPT და როგორ მუშაობს.
შეზღუდვები და განვითარება
კლასიკური ყურადღების მექანიზმის ხარჯი სწრაფად იზრდება ტექსტის სიგრძესთან ერთად, ამიტომ კონტექსტის ფანჯრის გაზრდა ძვირია. მკვლევრები ამიტომ ქმნიან ოპტიმიზებულ ვარიანტებს და ტრანსფორმერს სხვა იდეებს უთავსებენ, მაგალითად ექსპერტების ნაზავს (MoE). ახალი არქიტექტურული ექსპერიმენტების მაგალითია Qwen-ის არქიტექტურის შესახებ სტატია. ორიგინალური ნაშრომის აღწერა იხილე Wikipedia-ზე.
დაკავშირებული ტერმინები
LLM · ნეირონული ქსელი · ტოკენი · კონტექსტის ფანჯარა · ექსპერტების ნაზავი
ხშირად დასმული კითხვები
რა არის ტრანსფორმერი AI-ში?
ეს არის ნეირონული ქსელის არქიტექტურა, რომელიც ყურადღების მექანიზმით ტექსტის ნაწილებს შორის კავშირებს ამუშავებს და თანამედროვე LLM-ების საფუძველია.
რას ნიშნავს T სიტყვაში GPT?
GPT ნიშნავს Generative Pre-trained Transformer-ს, ანუ T ტრანსფორმერის არქიტექტურას აღნიშნავს.
ვინ შექმნა ტრანსფორმერი?
ის 2017 წელს Google-ის მკვლევართა ჯგუფმა აღწერა სტატიაში „Attention Is All You Need“.
შეჯამება
ტრანსფორმერი არის ის არქიტექტურული გარღვევა, რომლის გარეშეც ChatGPT და დღევანდელი გენერაციული AI ვერ იარსებებდა. მისი მთავარი ძალა ყურადღების მექანიზმი და მასშტაბირებადობაა, სისუსტე კი გრძელი ტექსტის მაღალი ღირებულება.