ექსპერტების ნაზავი (Mixture of Experts, MoE) არის AI მოდელის არქიტექტურა, სადაც მოდელი ბევრ ქვექსელად, „ექსპერტად“, იყოფა და ყოველი ტოკენის დამუშავებისას მათგან მხოლოდ რამდენიმე აქტიურდება. ასე მოდელი შეიძლება იყოს ძალიან დიდი, მაგრამ ინფერენსისას შედარებით ნაკლებ გამოთვლას იყენებდეს.
როგორ მუშაობს
ჩვეულებრივ, „მკვრივ“ მოდელში ყოველ ნაბიჯზე ყველა პარამეტრი მონაწილეობს. MoE მოდელში ტრანსფორმერის ზოგიერთი შრე შეცვლილია ექსპერტების ჯგუფით და სპეციალური „როუტერით“. როუტერი თითოეული ტოკენისთვის ირჩევს, რომელმა ექსპერტებმა დაამუშაონ ის. დანარჩენი ექსპერტები ამ ტოკენზე უმოქმედოდ რჩება.
ამიტომ MoE მოდელებს ხშირად ორი რიცხვით აღწერენ: მთლიანი პარამეტრები და აქტიური პარამეტრები. მაგალითად, მოდელის სახელში „A3B“ ხშირად აღნიშნავს დაახლოებით 3 მილიარდ აქტიურ პარამეტრს, როგორც Qwen-ის ამ მოდელის შემთხვევაში.
რატომ იყენებენ
- ეფექტიანობა – მეტი „ცოდნა“ (პარამეტრი) ნაკლები გამოთვლით ყოველ ტოკენზე.
- სიჩქარე და ფასი – ინფერენსი უფრო იაფი და სწრაფია, ვიდრე იმავე ზომის მკვრივ მოდელში.
- მასშტაბირება – უფრო ადვილია მოდელის ზომის გაზრდა.
MoE არქიტექტურა განსაკუთრებით გავრცელდა დიდ ღია მოდელებში. მსგავსი მოდელების შესახებ წაიკითხე DeepSeek V4 Pro და Kimi K3-ის ტექნიკური რეპორტი.
ნაკლოვანებები
- მეხსიერება – ყველა ექსპერტი მაინც უნდა ჩაიტვირთოს მეხსიერებაში, ამიტომ დიდი MoE მოდელის გასაშვებად ბევრი GPU მეხსიერება სჭირდება, მიუხედავად ნაკლები გამოთვლისა.
- წვრთნის სირთულე – საჭიროა, რომ დატვირთვა ექსპერტებს შორის თანაბრად გადანაწილდეს.
მითის გაფანტვა
სახელის მიუხედავად, „ექსპერტები“ ადამიანისთვის გასაგებ სფეროებად, მაგალითად „მათემატიკის ექსპერტად“ ან „ისტორიის ექსპერტად“, ჩვეულებრივ არ იყოფა. მათი სპეციალიზაცია წვრთნისას თავისთავად ყალიბდება და ხშირად ძნელად ინტერპრეტირებადია.
დაკავშირებული ტერმინები
ტრანსფორმერი · ინფერენსი · LLM · ღია კოდის მოდელი · GPU / AI ჩიპი
ხშირად დასმული კითხვები
რას ნიშნავს MoE?
MoE ნიშნავს Mixture of Experts-ს, ანუ ექსპერტების ნაზავს: არქიტექტურას, სადაც ყოველ ტოკენზე მოდელის მხოლოდ ნაწილი აქტიურდება.
რას ნიშნავს აქტიური პარამეტრები?
ეს არის პარამეტრების ის ნაწილი, რომელიც ერთი ტოკენის დამუშავებაში რეალურად მონაწილეობს. MoE მოდელში ის მთლიან რაოდენობაზე ბევრად ნაკლებია.
MoE მოდელი ჩემს კომპიუტერზე ადვილად გაეშვება?
არა აუცილებლად. გამოთვლა ნაკლებია, მაგრამ ყველა ექსპერტი მეხსიერებაში უნდა ჩაიტვირთოს, ამიტომ დიდი მოდელები ბევრ მეხსიერებას მოითხოვს.
შეჯამება
MoE არის ხერხი, რომ AI მოდელი დიდი და ამავე დროს შედარებით იაფი გასაშვები იყოს. ამიტომ ის ახალი ღია და კომერციული მოდელების სტანდარტული არჩევანი ხდება, თუმცა მეხსიერების მოთხოვნა მაღალი რჩება.