Google-მა მერვე თაობის TPU-ების ოჯახი გააფართოვა. კომპანიამ ორი ახალი სისტემა წარადგინა: TPU 8tx და TPU 8i Max. TPU Google-ის საკუთარი ჩიპია, რომელიც ხელოვნური ინტელექტის მოდელების გაწვრთნასა და გაშვებას აჩქარებს.
ეს სისტემები მანამდე წარდგენილ TPU 8t-სა და TPU 8i-ს უერთდება. ამით მერვე თაობაში უკვე ოთხი სისტემაა.
სარჩევი
რა არის TPU და რატომ აქვს მნიშვნელობა
TPU, ანუ Tensor Processing Unit, სპეციალური პროცესორია. ის ჩვეულებრივი პროცესორისგან განსხვავებით ხელოვნური ინტელექტის ამოცანებისთვისაა შექმნილი. Google ასეთ ჩიპებს საკუთარი მოდელებისთვის, მათ შორის Gemini-სთვის, იყენებს და Google Cloud-ის მომხმარებლებსაც სთავაზობს.
ახალი ამბავი მხოლოდ ჩიპზე არაა. Google ხაზს უსვამს განსხვავებას ჩიპსა და სისტემას შორის: ჩიპის შექმნა წლებს მოითხოვს, სისტემა კი იმას ნიშნავს, როგორ იკრიბება ჩიპის გარშემო მეხსიერება, ქსელი და უსაფრთხოება. ამ მიდგომით კომპანია ახალ კონფიგურაციებს უფრო სწრაფად ამზადებს.
TPU 8tx: უსაფრთხო გაშვება მგრძნობიარე მონაცემებთან
TPU 8tx უსაფრთხო და კონფიდენციალურ გაშვებაზეა გათვლილი. ის მცირე მასშტაბის გაწვრთნაშიც გამოდგება. სამიზნეა რეგულირებადი კომპანიები და სახელმწიფო უწყებები, რომლებიც ძლიერ მოდელებსა და ავტონომიურ აგენტებს მგრძნობიარე მონაცემებთან ერთად იყენებენ.
ჩვეულებრივ მონაცემები შენახვისას და ქსელში გადაცემისას დაშიფრულია, დამუშავებისას კი მეხსიერებაში იხსნება. TPU 8tx უსაფრთხოებას აპარატურულ დონეზე აშენებს: მგრძნობიარე მონაცემები და მოდელის წონები დაცული რჩება მაშინაც კი, როცა სისტემა მათ აქტიურად ამუშავებს. ის TPU 8t-ის იმავე სილიკონზეა აგებული და მეხუთე თაობის AMD EPYC პროცესორებთან მუშაობს.
Google-ის თქმით, TPU 8tx-ის დაბალდაყოვნებიანი ქსელი TPU 8t-თან შედარებით დაყოვნებას დაახლოებით ორჯერ ამცირებს, წარმადობა კი თითქმის არ ზარალდება. ერთსა და იმავე სისტემაზე შესაძლებელია მოდელის გაშვებაც და მისი დახვეწაც პირადი მონაცემებით, მგრძნობიარე ინფორმაციის სხვა კლასტერზე გადატანის გარეშე.
TPU 8i Max: დიდი კონტექსტი და მეტი სიმძლავრე ერთ კაბინეტში
TPU 8i Max სხვა პრობლემას წყვეტს. როცა ბევრი AI აგენტი ერთდროულად დიდ კოდს ან საათობრივ ვიდეოს ამუშავებს, ხშირად მეხსიერების გამტარუნარიანობა ხდება შეფერხების მიზეზი. Google-მა ორი TPU 8i ჩიპი ერთ პაკეტში გააერთიანა.
TPU 8i Max TPU 8i-სთან შედარებით ორმაგ გამოთვლით სიმძლავრეს, ორმაგ SRAM-სა და ორმაგ HBM გამტარუნარიანობას იძლევა. იმავე ზომის კაბინეტში ორჯერ მეტი სილიკონი ეტევა, ამიტომ მონაცემთა ცენტრს ერთსა და იმავე ფართზე და ენერგიაზე მეტი გამოთვლა შეუძლია.
Google ამას მეხსიერების კედლის პრობლემას უწოდებს: გამოთვლა სწრაფია, მონაცემების მიწოდება კი ჩამორჩება. ორი ჩიპის ერთ პაკეტში გაერთიანება სწორედ ამ შეუსაბამობის შემცირებას ისახავს მიზნად.
რას ნიშნავს ოთხი სისტემა ერთად
მერვე თაობის ოთხი სისტემა სხვადასხვა ამოცანაზეა გათვლილი. TPU 8t დიდი მოდელების გაწვრთნისთვისაა. TPU 8i სწრაფ მსჯელობაზეა ორიენტირებული. TPU 8tx კონფიდენციალურ გამოთვლას ემსახურება. TPU 8i Max კი დიდ კონტექსტურ ფანჯრებსა და ერთ კაბინეტში მაქსიმალურ სიმკვრივეს უზრუნველყოფს.
აპრილში Google-მა TPU 8t-სა და TPU 8i-ზე თქვა, რომ წინა თაობასთან შედარებით გაწვრთნის წარმადობა 2,7-ჯერ უკეთესია, გაშვების ფასი/წარმადობა კი დაახლოებით 80%-ით უკეთესი. ახალი ორი სისტემა ამავე თაობის გაგრძელებაა და არა ცალკე თაობა.
Google ასევე წერს, რომ TPU-ებზე მუშაობა უფრო ადვილი უნდა გახდეს. მაგალითად, ღია წყაროს TorchTPU-ით PyTorch-ის კოდი TPU-ზე მშობლიურად უნდა გაეშვას. დეტალურად ამ პროგრამულ ინსტრუმენტებზე კომპანია იმავე ბლოგში საუბრობს.
პროგრამული მხარდაჭერაც იცვლება. Google-მა ღია წყაროდ გამოაქვეყნა TorchTPU, რათა PyTorch-ის კოდი და Hugging Face-ის მოდელები TPU-ზე ხელახალი გადაწერის გარეშე გაეშვას. გარდა ამისა, კომპანია საუბრობს აგენტებისთვის შექმნილ ინსტრუმენტებზე, რომლებიც უქმი სესიებისას გამოთვლას აჩერებენ და მეხსიერებას ჩიპიდან გადააქვთ. მიზანი ნაკლები ფუჭი ხარჯია, როცა აგენტი მონაცემთა ბაზას ან ადამიანის პასუხს ელოდება.
მნიშვნელოვანია: ახალი სისტემები დღეს გამოცხადებულია. Google Cloud-ის მიმდინარე დოკუმენტაციაში TPU 8tx და TPU 8i Max ჯერ ცალკე ხელმისაწვდომ ვარიანტებად არ ჩანს. ამიტომ ეს წარდგენაა და არა უკვე ყველასთვის ხელმისაწვდომი პროდუქტის გაშვება.
წყაროები
სხვა თემები
Gemini Omni 1.2 Flash: ახალი მოდელი Google-სგან
ChatGPT-ის მომხმარებლები 1,2 მილიარდია: OpenAI ამბობს, რომ ძიება Google-ის მეხუთედს აღწევს
Google Cloud-ის შემოსავალი გაორმაგდა, Azure 48%-ით გაიზარდა: AI ღრუბლების ზრდა და მისი ფასი