Qwen-მა ახალი Qwen3.8-Flash წარადგინა – multimodal Mixture-of-Experts (MoE) მოდელი, რომელიც ამავე დროს Qwen4-ის მომავალი არქიტექტურის ადრეულ ხედვას გვთავაზობს. მოდელი open-weight ფორმატში გამოდის, ხოლო Qwen3.8-Flash-Next-ის წონების გამოქვეყნებით დეველოპერებს საშუალება ეძლევათ გაეცნონ იმ არქიტექტურულ მიმართულებას, რომელსაც Qwen მომდევნო თაობისთვის იკვლევს.
Qwen-ის ინფორმაციით, Qwen3.8-Flash აერთიანებს 125 მილიარდ პარამეტრსა და 51 მილიარდ N-gram embedding პარამეტრს, თუმცა თითოეული token-ის დამუშავებისას მხოლოდ 6 მილიარდი პარამეტრი აქტიურდება. სწორედ ეს MoE მიდგომა არის მოდელის გამოთვლითი ეფექტიანობის ერთ-ერთი მთავარი საფუძველი.
სარჩევი
Qwen3.8-Flash და Qwen4-ის ახალი არქიტექტურა
Qwen3.8-Flash-ში რამდენიმე ახალი არქიტექტურული კომპონენტია გაერთიანებული. მათ შორისაა GDN + QSA hybrid attention, Gated Residual, N-gram Embedding და Muon optimizer.
კომპანიის განმარტებით, ეს მიდგომები Qwen4-ში გამოყენებული არქიტექტურის წინამორბედია. შესაბამისად, Qwen3.8-Flash მხოლოდ ახალი მოდელი არ არის – ის გარკვეულ წარმოდგენასაც გვაძლევს იმ ტექნიკურ მიმართულებაზე, რომელსაც Qwen შემდეგი თაობის მოდელებისთვის ავითარებს.
125 მილიარდი პარამეტრი, მაგრამ 6 მილიარდი აქტიური პარამეტრი
Qwen3.8-Flash არის multimodal MoE მოდელი. მისი 125 მილიარდი ძირითადი პარამეტრიდან თითო token-ზე მხოლოდ 6 მილიარდი აქტიურდება, რასაც დამატებით 51 მილიარდი N-gram embedding პარამეტრი ემატება.
ასეთი არქიტექტურის მიზანია დიდი მოდელის შესაძლებლობების შენარჩუნება ისე, რომ ყოველი მოთხოვნის დამუშავებისას სრული პარამეტრების ნაკრების გააქტიურება საჭირო არ იყოს. Qwen სწორედ დაბალ გამოთვლით დანახარჯს ასახელებს 3.8-Flash-ის ერთ-ერთ მთავარ მახასიათებლად.
სწავლების ღირებულება შემცირდა
Qwen-ის მონაცემებით, ახალი მოდელის სწავლება Qwen3.7-Plus-ის ღირებულების მხოლოდ 1/9 დაჯდა. ამასთან, კომპანია აცხადებს, რომ Qwen3.8-Flash სხვადასხვა შეფასებაში Qwen3.7-Plus-ს აჯობებს, განსაკუთრებით პროგრამირებისა და საოფისე ამოცანების მიმართულებით.
ეს მნიშვნელოვანი არქიტექტურული ცვლილებაა, რადგან Qwen ცდილობს ერთდროულად შეამციროს როგორც მოდელის სწავლების, ისე inference-ის გამოთვლითი ხარჯები.
შედეგები ბენჩმარკებში
Qwen-ის მიერ გამოქვეყნებული შედეგების მიხედვით, მოდელმა სხვადასხვა პროგრამირების, აგენტურ და multimodal ბენჩმარკში შემდეგი ქულები მიიღო:
- DeepSWE 1.1: 58.7
- SWE-bench Pro: 62.5
- CoWorkBench: 73.9
- AndroidWorld: 84.5
- MathVision (CI-ით): 95.7
ეს შედეგები Qwen-ის მიერ წარმოდგენილი შეფასებებია და მოდელის შესაძლებლობებს პროგრამირების, კომპიუტერთან მუშაობის, Android გარემოსა და ვიზუალური მათემატიკური ამოცანების მიმართულებით აჩვენებს.
262K კონტექსტი და 1 მილიონ token-მდე გაფართოება
3.8-Flash ნატიურად 262K token-ის კონტექსტურ ფანჯარას უჭერს მხარს. YaRN-ის გამოყენებით მისი გაფართოება 1 მილიონ token-მდეა შესაძლებელი.
დიდი კონტექსტური ფანჯარა განსაკუთრებით მნიშვნელოვანია გრძელი დოკუმენტების, დიდი კოდური ბაზებისა და ისეთი აგენტური სამუშაო პროცესებისთვის, სადაც მოდელს ერთდროულად დიდი მოცულობის ინფორმაციის დამუშავება სჭირდება.
API-ის ფასი
Qwen-ის განცხადებით, 3.8-Flash-ის production ვერსია მალე გახდება ხელმისაწვდომი QwenCloud API-ის საშუალებით. გამოცხადებული ფასი 1 მილიონ input token-ზე 0.16 დოლარი, ხოლო 1 მილიონ output token-ზე 0.47 დოლარი იქნება.
კომპანია ამ ფასებს მოდელის არქიტექტურულ ეფექტიანობას უკავშირებს. Qwen3.8-Flash-ის შემთხვევაში დიდი საერთო პარამეტრების რაოდენობის მიუხედავად, თითო token-ზე მხოლოდ 6 მილიარდი პარამეტრის გააქტიურება ხდება.
Qwen3.8-Flash-Next ღია წონებით
Qwen-მა ასევე გამოაქვეყნა 3.8-Flash-წონები. ეს ვერსია მომხმარებლებს აძლევს ადრეულ შესაძლებლობას შეისწავლოს ახალი არქიტექტურა, რომელსაც კომპანია Qwen4-ისთვის იკვლევს.
რას ნიშნავს 3.8-Flash Qwen4-ისთვის?
ყველაზე საინტერესო ნაწილი მხოლოდ მისი მიმდინარე შესაძლებლობები არ არის. Qwen პირდაპირ აღწერს ახალ არქიტექტურას, როგორც Qwen4-ში გამოსაყენებელი მიდგომის წინამორბედს.
GDN + QSA hybrid attention, Gated Residual, N-gram Embedding და Muon optimizer აჩვენებს, რა მიმართულებით მიმდინარეობს ახალი არქიტექტურის განვითარება. Qwen3.8-Flash-Next-ის ღია წონების გამოქვეყნება კი დეველოპერებსა და მკვლევრებს ამ მიდგომის უშუალოდ შესწავლის შესაძლებლობას აძლევს.
დაკავშირებული თემა: QWEN3.7-MAX: 35-ᲡᲐᲐᲗᲘᲐᲜᲘ ᲐᲕᲢᲝᲜᲝᲛᲘᲣᲠᲘ AI ᲐᲒᲔᲜᲢᲘ
სხვა თემები
Qwen3.8-27B-ის ღია წონები ხელმისაწვდომია
Qwen3.8-Max წარადგინეს – Alibaba-ის ახალი AI მოდელი
Inkling-Small: Thinking Machines-მა ახალი მოდელი გამოუშვა