თვითზედამხედველობითი სწავლება (Self-supervised learning)

თვითზედამხედველობითი სწავლება (Self-supervised learning) – მოდელი სასწავლო ამოცანას თავად მონაცემიდან ქმნის, მაგალითად ტექსტში შემდეგ სიტყვას გამოიცნობს. ასე სწავლობს LLM-ების უმეტესობა.

როგორ მუშაობს თვითზედამხედველობითი სწავლება

თვითზედამხედველობითი სწავლებისას (self-supervised learning) ეტიკეტებს ადამიანი არ ქმნის, ისინი თავად მონაცემებიდან მიიღება. მაგალითად, ტექსტში ერთ სიტყვას მალავენ და მოდელს სთხოვენ გამოიცნოს, ან აძლევენ წინადადების დასაწყისს და ავალებენ შემდეგი ტოკენის პროგნოზს. რადგან სწორი პასუხი უკვე ტექსტშია, მოდელს შეუძლია უზარმაზარ, მოუნიშნავ მონაცემებზე ისწავლოს.

მაგალითი ყოველდღიური ცხოვრებიდან

წარმოიდგინე სავარჯიშო „ჩასვი გამოტოვებული სიტყვა“: „დილით ყავა ___ დავლიე“. პასუხის მოსაძებნად ენის გრამატიკა და აზრი უნდა გესმოდეს. მოდელი მილიარდობით ასეთ სავარჯიშოს ხსნის.

რატომ არის თვითზედამხედველობითი სწავლება მნიშვნელოვანი

• მასშტაბი – იძლევა ინტერნეტის მასშტაბის მონაცემებზე სწავლის საშუალებას.
• LLM-ების საფუძველი – დიდი ენობრივი მოდელების პრეტრენინგი სწორედ ასე მიმდინარეობს.
• ზოგადი ცოდნა – მოდელი ენის, ფაქტებისა და ლოგიკის ფართო წარმოდგენას იძენს.

თვითზედამხედველობითი სწავლების ხერხები

ტექსტში ორი მთავარი ხერხი გამოიყენება. პირველში მოდელი წინადადების დასაწყისს ხედავს და შემდეგ სიტყვას გამოიცნობს. ასე სწავლობენ GPT-ის ტიპის მოდელები. მეორეში ტექსტიდან შემთხვევით სიტყვებს მალავენ და მოდელი მათ ორივე მხარის კონტექსტით აღადგენს. ასე სწავლობდა BERT, რომელიც ტექსტის გაგებაზე იყო ორიენტირებული.

სურათებთან ერთი მიდგომაა სურათის ნაწილების დამალვა და მოდელისთვის მათი აღდგენის დავალება. მეორე მიდგომას კონტრასტული სწავლება ჰქვია: მოდელი სწავლობს, რომ ერთი სურათის ორი სხვადასხვაგვარად შეცვლილი ვერსია ერთმანეთთან ახლოს უნდა იყოს, სხვადასხვა სურათი კი შორს.

ასეთი სწავლება განსაკუთრებით ღირებულია, რადგან ეტიკეტების მომზადება ძვირია, მოუნიშნავი მონაცემი კი უხვადაა. მისი მეშვეობით მიღებული მოდელი შემდეგ მცირე რაოდენობის მონიშნულ მონაცემზე სწრაფად ერგება კონკრეტულ ამოცანას. სწორედ ეს ორეტაპიანი სქემა დაედო საფუძვლად ფუნდამენტური მოდელების გავრცელებას.

ეს იდეა მხოლოდ ტექსტსა და სურათებს არ ეხება: მას იყენებენ აუდიოში, ვიდეოში და სხვადასხვა სამეცნიერო მონაცემებშიც, სადაც მონიშვნა განსაკუთრებით ძვირი ან რთულია.

დაკავშირებული ტერმინები

პრეტრენინგი · LLM · ზედამხედველობის გარეშე სწავლება · ტოკენი · ფუნდამენტური მოდელი · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

თვითზედამხედველობითი სწავლება ეტიკეტებს თავად მონაცემებიდან იღებს. სწორედ ამ მიდგომამ შესაძლებელი გახადა დიდი ენობრივი მოდელების შექმნა.