Block-მა, Twitter-ის თანადამფუძნებლის ჯეკ დორსის კომპანიამ Dessa წარადგინა.
ეს full-duplex ხმოვანი მოდელია, რომელიც ნულიდან და მხოლოდ ადამიანების საუბრების ჩანაწერებზე გაიწვრთნა. ტექსტი და წინასწარ გაწვრთნილი მოდელები პროცესში საერთოდ არ გამოუყენებიათ. კომპანიის თქმით, Dessa-მ რეალურ დროში საუბარი უბრალოდ მოსმენით ისწავლა.
დორსიმ X-ზე დაწერა, რომ ხმა ინტელექტთან ურთიერთობის ყველაზე ბუნებრივი გზაა. Dessa-ს მან ოდესმე შექმნილი ყველაზე ავთენტური full-duplex მეტყველების მოდელი უწოდა. მისი თქმით, მასთან საუბარი ადამიანთან საუბარს ჰგავს – ემოციით, ნიუანსებით, პაუზებითა და ბუნებრივი რიტმით.
სარჩევი
Block-ს ეკუთვნის Square, Cash App, Afterpay და TIDAL. Dessa კი კომპანიის შიდა ხელოვნური ინტელექტის კვლევითი ლაბორატორიის ნამუშევარია. ამ ეტაპზე ეს კვლევითი პრევიუა და ფართო საზოგადოებისთვის ჯერ ხელმისაწვდომი არ არის.
რა არის Dessa და რით განსხვავდება სხვა ხმოვანი AI-სგან
Dessa არის speech-to-speech მოდელი: მასში ხმა შედის და ხმა გამოდის. ტიპური ხმოვანი AI სხვაგვარად მუშაობს. ჯერ მეტყველებას ტექსტად აქცევს, შემდეგ ამ ტექსტს ენობრივი მოდელი ამუშავებს, ბოლოს კი პასუხი ისევ ხმად გარდაიქმნება.
Dessa-ს გუნდის აზრით, ტექსტად გარდაქმნისას იკარგება ის, რაც მხოლოდ ხმაში არსებობს – ტონი და ემოცია. გარდა ამისა, ასეთი სისტემები ადამიანური საუბრის ტემპს ვერ ეწევა.
რას ნიშნავს full-duplex
Full-duplex ნიშნავს, რომ მოდელი ერთდროულად უსმენს და ლაპარაკობს, როგორც ორი ადამიანი ცოცხალ საუბარში. Dessa-მ ისწავლა, როდის ჩაერიოს საუბარში და როდის აგრძნობინოს თანამოსაუბრეს, რომ უსმენს – მოკლე რეპლიკებით, როგორიცაა „yeah!“, „got it!“ ან „ooh“.
Block-ის თქმით, მოდელს ემოციების აღქმა და გამოხატვა თავისთავად შეუძლია. მას ესმის და თავადაც იყენებს სარკაზმს, სიცილს, გაღიზიანებულ ამოოხვრას და სევდისგან ჩაწყვეტილ ხმას. ხმასა და პიროვნებასაც მოდელი თავად ირჩევს – ის წყვეტს, რა თქვას, როდის და როგორ.
როგორ ისწავლა Dessa-მ ლაპარაკი ტექსტის გარეშე
გუნდი ბავშვების მაგალითს იშველიებს: ბავშვები ლაპარაკს ისე სწავლობენ, რომ წერილობით სიტყვას არც კი ხედავენ. მათ აინტერესებდათ, შეძლებდა თუ არა იგივეს მოდელიც. მათივე სიტყვებით, პასუხი დადებითია, თუმცა ეს ძალიან რთული აღმოჩნდა.
სირთულე მონაცემებშია. Block-ის თქმით, ერთი წარმოთქმული სიტყვა ათასობითჯერ მეტ ბაიტს იკავებს, ვიდრე იგივე სიტყვა ტექსტში. ამასთან, Dessa-მ ენა ასობითჯერ ნაკლები სიტყვიდან ისწავლა, ვიდრე დიდი ენობრივი მოდელები. ზუსტი რიცხვები კომპანიას არ გამოუქვეყნებია.
მოდელი ერთ NVIDIA GB200 NVL72 სისტემაზე გაიწვრთნა. Block წერს, რომ რამდენადაც მისთვის ცნობილია, Dessa მსოფლიოში პირველი AI-ა, რომელთანაც რეალისტური ცოცხალი საუბარი შეიძლება და რომელიც მხოლოდ ადამიანის მეტყველებაზე გაიწვრთნა.
Dessa დემო ჩანაწერებში
Block-მა Dessa-ს ოფიციალურ გვერდზე რამდენიმე ჩაწერილი საუბარი გამოაქვეყნა:
- საუბარი რელიზზე: Dessa შუა წინადადებაში იცინის, როცა რამე სასაცილოა, და ხმას უწევს, როცა ამას სთხოვენ.
- დავიწყებული ფილმი: როცა თანამოსაუბრეს ფილმის სახელი აღარ ახსენდება, Dessa წინადადებას თავად ასრულებს და ფაქტების მოულოდნელად დიდ ცოდნას ავლენს.
- წლისთავის სიურპრიზი: თანამოსაუბრე პარიზში მოულოდნელ მოგზაურობაზე ჰყვება. Dessa ხმადაბლა წამოიძახებს „oh my god“ და პასუხობს ტონით, რომელიც ცრემლიან მადლიერებას ჰგავს.
- ექსპრესიული საუბარი: ინტონაციისა და ტემპის ფართო დიაპაზონი.
- ცხოვრებისეული რჩევა: Block-ის შეფასებით, Dessa აქ გულწრფელად თანამგრძნობად ჟღერს.
- საუბარი GPT-Live-1-თან: Dessa სხვა კომპანიის ხმოვან მოდელს ესაუბრება. The Verge-ის ცნობით, ეს OpenAI-ის მოდელია. Block აზუსტებს, რომ მისი შემქმნელი კომპანიასთან დაკავშირებული არ არის და Dessa არც შეუფასებია, არც მხარი დაუჭერია.
სუბტიტრები ჩანაწერებს მოგვიანებით დაემატა. გუნდი აპირებს, ახალი ჩანაწერები X-ზე გააზიაროს.
დემოებში შეცდომებიც ჩანს
ჩანაწერები სრულყოფილი არ არის. The Verge-ის ცნობით, ერთ-ერთ საუბარში, რომელიც ლაბორატორიის ხელმძღვანელმა გააზიარა, Dessa თანამოსაუბრეს თავიდან შეცდომით „რონალდოს“ ეძახის. კრისტოფერ ნოლანის ფილმებზე საუბარი კი მოულოდნელად ბრაიან სინგერის Superman-ზე გადადის.
გასათვალისწინებელია ისიც, რომ Block-ს ბენჩმარკები და დამოუკიდებელი შეფასებები არ გამოუქვეყნებია. „ყველაზე ავთენტური მოდელის“ შესახებ განცხადება ჯერჯერობით მხოლოდ დემოებს და კომპანიის სიტყვას ეყრდნობა.
რა ვიცით Dessa-ს ტექნიკურ მხარეზე
- ლოკალური გაშვება: მოდელი მუშაობს MacBook Pro-ზე M4 Max ჩიპით ან უფრო ძლიერ მოწყობილობაზე.
- სიჩქარე: პასუხის გენერაცია რეალურ დროზე სწრაფად ხდება, თუმცა დაყოვნების ზუსტი მაჩვენებლები გამოქვეყნებული არ არის.
- წვრთნა: ერთი NVIDIA GB200 NVL72 და მხოლოდ ადამიანების საუბრის აუდიო.
უცნობია პარამეტრების რაოდენობა, არქიტექტურა, სასწავლო აუდიოს მოცულობა და ის, რომელ ენებზე საუბრობს მოდელი. ინფორმაცია არც API-ზე, ღია წონებსა თუ ლიცენზიაზე არის.
ვინ შექმნა Dessa
Dessa Block-ის ძალიან პატარა AI კვლევითი ლაბორატორიის ნამუშევარია, რომელსაც რაგავან თურაირატნამი ხელმძღვანელობს. გუნდში ექვსი მკვლევარი და რამდენიმე სტაჟიორია. ლაბორატორია პირდაპირ ჯეკ დორსის ექვემდებარება.
ლაბორატორია ტორონტოული სტარტაპის, Dessa-ს, ყოფილმა წევრებმა დააარსეს – მოდელს სწორედ ამ კომპანიის სახელი ჰქვია. სტარტაპის შეძენა მაშინდელმა Square-მა, დღევანდელმა Block-მა, 2020 წლის თებერვალში გამოაცხადა. Dessa მაშინ deepfake-ების აღმოჩენის ტექნოლოგიითაც იყო ცნობილი, ხოლო თურაირატნამი მისი თანადამფუძნებელი და მანქანური სწავლების ხელმძღვანელი იყო.
გუნდი ამბობს, რომ ღრმა სწავლების მოდელებს 2012 წლიდან ქმნის, გენერაციულ მეტყველების მოდელებზე კი რვა წელზე მეტია მუშაობს.
უსაფრთხოება: რატომ იღებენ Dessa-ს ჯერ მხოლოდ მკვლევრები
გუნდი Dessa-ს შექმნის სამ მიზეზს ასახელებს: ცნობისმოყვარეობა, ადამიანსა და AI-ს შორის უკეთესი ურთიერთგაგება და უსაფრთხოება. უსაფრთხოების არგუმენტი ასეთია: AI სულ უფრო ძლიერი და დამოუკიდებელი ხდება, მაგრამ ადამიანის ხმაში ემოციას თითქმის ვერ ამჩნევს.
მაგალითად მოყვანილია ადამიანი, რომელიც მძიმე ტკივილშია და ხმოვან AI-ს ესაუბრება, AI კი ამას ვერ ამჩნევს და ჩვეულებრივად აგრძელებს. გუნდის აზრით, Dessa ამ პრობლემის მოგვარებისკენ გადადგმული ნაბიჯია.
ამავე დროს, Block აღიარებს, რომ მოდელი, რომელმაც მხოლოდ ხმიდან ისწავლა, ახალი ტერიტორიაა. ამიტომ ადრეულ წვდომას ჯერ AI უსაფრთხოების მკვლევრების მცირე ჯგუფი იღებს, რათა მათ ისეთი რისკები მოძებნონ, რომლებიც გუნდმა ვერ გაითვალისწინა. კომპანიის თქმით, ფართო წვდომის ბმულები მალე გამოჩნდება.
ღია კვლევითი კითხვები
Block თავადვე ასახელებს კითხვებს, რომლებზეც პასუხი ჯერ არ აქვს:
- რამდენად ეფექტურად სწავლობს მოდელი ენასა და ფაქტებს მეტყველებიდან, ტექსტთან შედარებით?
- რამდენად ეფექტურად შეუძლია ახალი ენების სწავლა?
- რა სახის in-context learning შეუძლია ასეთ მოდელს?
რატომ არის Dessa საინტერესო
Dessa-ს ყველაზე საინტერესო მხარე ის კითხვაა, რომელსაც ამოწმებს: შეუძლია თუ არა მოდელს ცოცხალი საუბარი ტექსტის გარეშე ისწავლოს. Block-ის პასუხი დადებითია, თუმცა რამდენად კარგად მუშაობს Dessa დემოების მიღმა, დამოუკიდებელი ტესტირების შემდეგ გაირკვევა.
სხვა თემები
Voxtral 3: Mistral-მა ხმოვანი აგენტებისთვის ახალი მოდელები და SDK წარადგინა
Eleven Realtime: ElevenLabs-მა ხმოვანი აგენტებისთვის ახალი მოდელები გამოუშვა
Eleven v4: ElevenLabs-ის ახალი მეტყველების მოდელი