Voxtral 3: Mistral-მა ხმოვანი აგენტებისთვის ახალი მოდელები და SDK წარადგინა

Voxtral 3 არის Mistral AI-ის ახალი ხმოვანი მოდელების ოჯახი, რომელიც მეტყველების ტექსტად გარდაქმნის (speech-to-text) და ტექსტის გახმოვანების (text-to-speech) მოდელებს ხმოვანი აგენტების ასაწყობ SDK-სთან ერთად აერთიანებს. ფრანგულმა კომპანიამ ის ოფიციალურ ბლოგზე წარადგინა. მიზანი ისეთი აგენტებია, რომლებიც ტელეფონით ან ვებში ცოცხალ საუბარს აწარმოებენ: უსმენენ, მსჯელობენ, ხელსაწყოებს იძახებენ და ბუნებრივი ხმით პასუხობენ. გახმოვანების ფასი 1 მილიონ სიმბოლოზე 13 დოლარია.

Mistral-ის თქმით, ხმოვანმა აგენტმა ერთდროულად ოთხი რამ უნდა შეძლოს: ზუსტად მოისმინოს სხვადასხვა ენასა და აქცენტზე, გაიგოს, რას გულისხმობს მომხმარებელი, ემოციით ილაპარაკოს და რამდენიმე ნაბიჯად შეასრულოს მოქმედებები დაკავშირებულ სისტემებში. ამ ოთხი ნაწილის რეალურ დროში საიმედოდ შეთავსება დღემდე რთული ამოცანაა და Voxtral 3 სწორედ ამის გამარტივებას ცდილობს.

სარჩევი

• რა შედის Voxtral 3-ში
• Voxtral 3-ის ტრანსკრიფცია: შედეგები ბენჩმარკებზე
• გახმოვანება ემოციით და Pro Voice
• Voice agent SDK: ერთი ნაკადი საუბრისთვის
• ხელმისაწვდომობა და მონაცემების კონტროლი
• შეჯამება
• სხვა თემები

რა შედის Voxtral 3-ში

Mistral-ის დოკუმენტაციის მიხედვით, ოჯახში ხუთი მოდელია: სამი მეტყველებას ტექსტად აქცევს, ორი კი ტექსტს ახმოვანებს.

• Voxtral Small Transcribe 3: ყველაზე ზუსტი ტრანსკრიფციის მოდელი ჩაწერილი ფაილებისთვის. ის 50-ზე მეტ ენას უჭერს მხარს, მათ შორის ევროკავშირის 24 ოფიციალურ ენას და აზიისა და ინდოეთის ნაკლებად გავრცელებულ ენებს. ასევე არჩევს, ვინ რა თქვა (დიარიზაცია), და მომხმარებლის მიწოდებულ ტერმინებს ითვალისწინებს (context biasing). ფასი წუთში 0.004 დოლარია.
• Voxtral Mini Transcribe 3: 4 მილიარდპარამეტრიანი, უფრო სწრაფი და იაფი ვერსია ფაილებისთვის, წუთში 0.0035 დოლარად.
• Voxtral Mini Transcribe Realtime 3: ცოცხალი ნაკადის ტრანსკრიფცია აგენტებისთვის, 500 მილიწამზე ნაკლები დაყოვნებით. ის საუბრის დასრულებასაც ცნობს და წუთში 0.008 დოლარი ღირს. დოკუმენტაციის მიხედვით, დაყოვნება 80-დან 1 200 მილიწამამდე ან 2 400 მილიწამზე ყენდება.
• Voxtral TTS 3 და TTS Realtime 3: გახმოვანება წინასწარ მომზადებული ან კლონირებული ხმებით, ჩვეულებრივ და ნაკადურ რეჟიმში, ერთი API-ით და ერთი ფასით, 13 დოლარად 1 მილიონ სიმბოლოზე.

Voxtral 3-ის ტრანსკრიფცია: შედეგები ბენჩმარკებზე

Mistral ამტკიცებს, რომ Small ვერსია მრავალენოვან ტრანსკრიფციასა და დიარიზაციაში საუკეთესო შედეგს აჩვენებს და Whisper-ს, ElevenLabs-ის Scribe v2-სა და Gemini 3.5 Transcribe-ს უსწრებს. FLEURS-ის 45 ენაზე, როცა ენა წინასწარაა მითითებული, Voxtral Small Transcribe 3-ის სიტყვების შეცდომის მაჩვენებელი (WER) 4.0%-ია. იგივე შედეგი აქვს Microsoft AI Transcribe 2-ს. Mini ვერსია და Gemini 3.5 Transcribe 4.5%-ს აჩვენებენ, Scribe v2 4.9%-ს, GPT Transcribe 5.6%-ს, Whisper large-v3 კი 14.9%-ს.

დიარიზაციის ტესტებში Small-ის შეცდომა 18.4%-ია, Scribe v2-ის 23.0%, Gemini 3.5 Transcribe-ის კი 38.4%. თუმცა Mistral-ის ბლოგზევე გამოქვეყნებულ Artificial Analysis-ის WER ინდექსში ის პირველი არ არის: Voxtral Small Transcribe 3 (2.1%) მესამეა, Fun-Realtime-ASR-preview-სა (1.73%) და Microsoft AI Transcribe 2-ის (2.04%) შემდეგ. აქვე უნდა აღინიშნოს, რომ შედარებების დიდი ნაწილი Mistral-ის საკუთარ ბენჩმარკებს ეფუძნება.

გახმოვანება ემოციით და Pro Voice

ტექსტის გახმოვანების მოდელი, რომელსაც ბლოგი Voxtral Mini TTS 3-საც და Voxtral Speech 3-საც უწოდებს, კომპანიის თქმით 35-ზე მეტ ენასა და 50-ზე მეტ დიალექტზე მუშაობს. ის ტექსტის კონტექსტიდან თავად ადგენს ემოციას, ტემპსა და მახვილს. საჭიროების შემთხვევაში ეს ხაზ-ხაზ ტეგებითაც იმართება: Mistral-ის X-ის თრედში მაგალითად [emotion=sad][pace=slow] არის მოყვანილი. მოდელის გვერდზე 34 ემოციის ტეგი, 2 ტემპის ტეგი, ხუთი გამომავალი ფორმატი და ნაკადურ რეჟიმში დაახლოებით 90 მილიწამი პირველ ხმამდეა მითითებული. მზა ხმები 18 ენაზეა ხელმისაწვდომი. პროფესიონალური გამოყენებისთვის Pro Voice ფუნქციაა, რომელიც დაახლოებით 30 წუთიანი ჩანაწერით ადამიანის ხმის მანერას, ემოციურ დიაპაზონს და საუბრის სტილს იმეორებს ყველა მხარდაჭერილ ენაზე.

ფასზე Mistral განსაკუთრებულ აქცენტს აკეთებს: მისი თქმით, 13 დოლარად Voxtral 3-ის გახმოვანება OpenAI TTS-1-ზე, Deepgram-ზე, ElevenLabs Flash-სა და Gemini Flash-ზე იაფია. BeSimple AI-ის Voice Code Bench-ზე, რომელიც მომხმარებელთა მხარდაჭერისთვის რთულ ციფრებსა და უჩვეულო სახელებს ამოწმებს, Voxtral TTS-მა კლიპების 79.7% სწორად გაახმოვანა. იმავე გრაფიკზე Eleven v4 98.3%-ს აჩვენებს 80 დოლარად, Eleven v4 Turbo კი 97.5%-ს 40 დოლარად. ანუ Mistral ხარისხში კი არ ლიდერობს, არამედ ხარისხისა და ფასის თანაფარდობაში ცდილობს გამორჩევას.

Voice agent SDK: ერთი ნაკადი საუბრისთვის

Voxtral 3-ის მესამე ნაწილი LiveKit-ზე აგებული SDK-ია, რომელიც მოსმენას, მსჯელობას და პასუხს ერთ ნაკადად აერთიანებს. Realtime ტრანსკრიფცია უსმენს და ცნობს, როდის დაასრულა მოსაუბრემ, ზოგადი ენობრივი მოდელი, მაგალითად Mistral Small, მსჯელობს და ხელსაწყოებს იძახებს, გახმოვანების მოდელი კი საუბრის ტონით პასუხობს. Mistral-ის თქმით, არც ერთი ეტაპი წინას დასრულებას არ ელოდება, ამიტომ თითო რეპლიკა ერთ წამზე ნაკლებ დროში სრულდება, ხოლო როცა მომხმარებელი სიტყვას აწყვეტინებს, AI აგენტი ლაპარაკს წყვეტს.

საუბრისას აგენტს შეუძლია ზარის ავტორის ვინაობის გადამოწმება, ანგარიშის შემოწმება ან ვიზიტის დაჯავშნა ფუნქციების გამოძახებით, ვებში ძიებითა და კომპანიის საკუთარ სისტემებში მოძიებით. ზარები SIP-ით მუშაობს, ბრაუზერსა და აპლიკაციებში WebRTC-ით, და აგენტი არსებულ სატელეფონო, IVR და საკონტაქტო ცენტრის სისტემებს უკავშირდება. ყოველი ეტაპი ცალკე მოდელია, ამიტომ LLM-ის, ხმის ან ენის შეცვლა აგენტის თავიდან დაწერის გარეშე შეიძლება. ეს მიდგომა განსხვავდება ElevenLabs-ის ახლახან გამოშვებული Eleven Realtime-ისგან და OpenAI-ის GPT-Realtime-2-ისგან, სადაც მთელი საუბარი ერთი speech-to-speech მოდელით მიმდინარეობს.

ხელმისაწვდომობა და მონაცემების კონტროლი

Voxtral 3 უკვე ხელმისაწვდომია Mistral-ის API-ით ევროპული, ამერიკული და გლობალური წერტილებით. ხმოვანი აგენტების, ტრანსკრიფციის, გახმოვანებისა და ხმის კლონირების გამოცდა Studio-ს სატესტო გარემოშია შესაძლებელი. Mistral მოდელებს „სუვერენული“ გამოყენებისთვის აპოზიციონირებს: ორგანიზაციას შეუძლია ევროპაში განთავსებული API აირჩიოს ან მთელი სისტემა საკუთარ ინფრასტრუქტურაზე გაუშვას და თავად გადაწყვიტოს, შეინახება თუ არა აუდიო. საკუთარ სერვერებზე ან კერძო ღრუბელში გაშვებისთვის კომპანია გაყიდვების გუნდთან დაკავშირებას ითხოვს. ღია წონებზე ანონსში საუბარი არ არის.

შეჯამება

Voxtral 3 Mistral-ის აქამდე ყველაზე სრული ხმოვანი პაკეტია: სამი ტრანსკრიფციის მოდელი, გახმოვანება 1 მილიონ სიმბოლოზე 13 დოლარად, Pro Voice კლონირება და LiveKit-ზე აგებული SDK აგენტებისთვის. ის ხელმისაწვდომია API-ით და საკუთარ ინფრასტრუქტურაზე გაშვების შესაძლებლობითაც.

ამ გამოშვების ძლიერი მხარე ფასი და მოქნილობაა. ტრანსკრიფცია წუთში 0.0035 დოლარიდან იწყება, ეტაპებად დაყოფილი არქიტექტურა კი საშუალებას იძლევა, LLM ან ხმა ცალ-ცალკე შეიცვალოს. ევროპული კომპანიებისთვის მონაცემების ადგილზე დატოვება დამატებითი არგუმენტია. ამავე დროს, ციფრები ძირითადად Mistral-ის საკუთარ შეფასებებს ეფუძნება: Artificial Analysis-ის ინდექსში Small Transcribe 3 მესამეა, Voice Code Bench-ზე კი Voxtral TTS Eleven v4-ს 18.6 პროცენტული პუნქტით ჩამორჩება. ენების რაოდენობაშიც შეუსაბამობაა: ბლოგი გახმოვანებისთვის 35-ზე მეტ ენას ასახელებს, დოკუმენტაციის მოდელის გვერდი კი 9-ს. 30 წუთიანი ჩანაწერით ხმის კლონირება კი დიპფეიქის რისკსაც ზრდის, რაზეც ანონსში დაცვის მექანიზმები აღწერილი არ არის.

AI გზამკვლევი რა არის ხელოვნური ინტელექტი? სრული გზამკვლევი: როგორ მუშაობს AI, რა არის LLM და რას ნიშნავს AGI - მარტივ ქართულში. →