ემბედინგი (Embedding) არის ტექსტის, სურათის ან სხვა მონაცემის წარმოდგენა რიცხვების გრძელი სიის, ანუ ვექტორის, სახით ისე, რომ მნიშვნელობით მსგავს ობიექტებს მსგავსი რიცხვები ჰქონდეთ. ასე კომპიუტერს შეუძლია „გაზომოს“, რამდენად ახლოსაა ორი ტექსტი შინაარსით.
მარტივი ანალოგია
წარმოიდგინე რუკა, სადაც თითოეულ სიტყვას ან წინადადებას თავისი წერტილი აქვს. „კატა“ და „ძაღლი“ ერთმანეთთან ახლოს დგას, „კატა“ და „თვითმფრინავი“ კი შორს. ემბედინგი ამ წერტილის კოორდინატებია, ოღონდ ორი ან სამი კი არა, ასობით ან ათასობით განზომილებით. ორ ვექტორს შორის მანძილით სისტემა ადგენს, რამდენად მსგავსია მათი მნიშვნელობა.
მნიშვნელოვანია, რომ ემბედინგი სიტყვების ზუსტ დამთხვევას არ ეყრდნობა. „როგორ დავაბრუნო ფული?“ და „თანხის დაბრუნების წესი“ სხვადასხვა სიტყვებითაა დაწერილი, მაგრამ მათი ემბედინგები ახლოს იქნება.
სად გამოიყენება
- სემანტიკური ძებნა – ძებნა მნიშვნელობით და არა მხოლოდ საკვანძო სიტყვებით.
- RAG – დოკუმენტებიდან კითხვასთან ყველაზე ახლო ფრაგმენტების მოძიება, რომლებიც შემდეგ LLM-ს გადაეცემა.
- რეკომენდაციები – მსგავსი სტატიების, პროდუქტების ან ვიდეოების შეთავაზება.
- კლასტერიზაცია – დიდი ტექსტური მასალის თემებად დაჯგუფება.
- მულტიმოდალური ძებნა – ტექსტით სურათის პოვნა, თუ ორივე ერთ სივრცეშია გადაყვანილი.
როგორ იქმნება
ემბედინგს სპეციალური ემბედინგის მოდელი ქმნის, რომელიც ნეირონული ქსელია და ბევრ მონაცემზეა გაწვრთნილი. ასეთ მოდელებს დიდი AI კომპანიები API-ით გთავაზობენ, ღია ვერსიებიც არსებობს. მაგალითისთვის იხილე სტატია Gemini Embedding 2-ზე. ვექტორების შესანახად და სწრაფად მოსაძებნად ხშირად იყენებენ ვექტორულ მონაცემთა ბაზებს.
პრაქტიკული რჩევები
- ერთ სისტემაში ერთი და იგივე ემბედინგის მოდელი გამოიყენე: სხვადასხვა მოდელის ვექტორები ერთმანეთს არ ედრება.
- ქართული ტექსტისთვის შეამოწმე, რამდენად კარგად მუშაობს მოდელი ქართულზე, სანამ მთელ ბაზას დაამუშავებ.
- გრძელი დოკუმენტები ემბედინგამდე ლოგიკურ ნაწილებად დაყავი.
დაკავშირებული ტერმინები
RAG · ტოკენი · LLM · მულტიმოდალური მოდელი · ტრანსფორმერი
ხშირად დასმული კითხვები
რა არის ემბედინგი მარტივად?
ემბედინგი არის რიცხვების სია, რომელიც ტექსტის ან სურათის მნიშვნელობას აღწერს, რომ კომპიუტერმა მსგავსი შინაარსი იპოვოს.
რისთვის მჭირდება ემბედინგი?
ძირითადად ძებნისთვის მნიშვნელობით, RAG სისტემებისთვის, რეკომენდაციებისა და ტექსტების დაჯგუფებისთვის.
ემბედინგი და ტოკენი ერთი და იგივეა?
არა. ტოკენი ტექსტის ნაწილია, ემბედინგი კი რიცხვითი ვექტორი, რომელიც ტოკენის, წინადადების ან მთელი დოკუმენტის მნიშვნელობას აღწერს.
შეჯამება
ემბედინგი არის ხიდი ადამიანის ენასა და კომპიუტერის რიცხვებს შორის. ის უხილავია მომხმარებლისთვის, მაგრამ სწორედ მასზეა აგებული თანამედროვე ძებნა, რეკომენდაციები და RAG სისტემები.