პრეტრენინგი (Pre-training)

პრეტრენინგი (Pre-training) – ტრენინგის პირველი, ყველაზე ხანგრძლივი ეტაპი, როცა მოდელი უზარმაზარ ზოგად მონაცემებზე სწავლობს.

როგორ მუშაობს პრეტრენინგი

პრეტრენინგი (pre-training) დიდი მოდელის სწავლების პირველი და ყველაზე ძვირი ეტაპია. მოდელი უზარმაზარ ტექსტურ (ზოგჯერ სურათებიან და აუდიო) მონაცემებზე სწავლობს ძალიან მარტივ ამოცანას: შემდეგი ტოკენის პროგნოზს. ამ პროცესში ის ითვისებს ენას, ფაქტებს, ლოგიკურ კავშირებს და ზოგად ცოდნას. პრეტრენინგის შემდეგ მიიღება „საბაზისო“ მოდელი, რომელსაც შემდეგ ინსტრუქციებით და ადამიანის უკუკავშირით ხვეწავენ.

მაგალითი ყოველდღიური ცხოვრებიდან

პრეტრენინგი ჰგავს სკოლაში ზოგადი განათლების მიღებას: ბევრ საგანს სწავლობ და სამყაროს ფართოდ იცნობ. შემდეგ ეტაპები უკვე კონკრეტული პროფესიის შესწავლას ჰგავს.

რატომ არის პრეტრენინგი მნიშვნელოვანი

• ცოდნის საფუძველი – მოდელის ცოდნის უმეტესი ნაწილი ამ ეტაპზე ყალიბდება.
• ხარჯი – პრეტრენინგი უზარმაზარ გამოთვლით რესურსს და დროს მოითხოვს.
• ცოდნის ზღვარი – მოდელმა არ იცის მოვლენები, რომლებიც ტრენინგის მონაცემების შეგროვების შემდეგ მოხდა.

პრეტრენინგის მონაცემები და ხარჯები

პრეტრენინგისთვის უზარმაზარი ტექსტური კორპუსი გროვდება: ვებგვერდები, წიგნები, სამეცნიერო სტატიები, კოდი და სხვა. ნედლი მონაცემი ბევრ ნაგავს შეიცავს, ამიტომ მას ფილტრავენ: შლიან დუბლიკატებს, სპამს, დაბალი ხარისხის და საზიანო ტექსტს. მონაცემების მომზადება პრეტრენინგის ერთ-ერთი ყველაზე შრომატევადი ნაწილია.

მნიშვნელოვანია ენების შეფარდებაც. ინტერნეტის ტექსტის დიდი ნაწილი ინგლისურია, ქართული კი მცირე წილს შეადგენს. ამიტომ მოდელები ქართულს ხშირად უფრო სუსტად ფლობენ. ზოგი დეველოპერი ნაკლებად გავრცელებული ენების მონაცემებს განზრახ ზრდის, რომ ეს დისბალანსი შეამციროს.

პრეტრენინგი ძალიან ძვირია. დიდი მოდელის გაწვრთნას ათასობით სპეციალური პროცესორი და კვირები ან თვეები სჭირდება, ამიტომ მას ძირითადად დიდი კომპანიები და კვლევითი ორგანიზაციები ატარებენ. სხვები, როგორც წესი, უკვე პრეტრენირებულ მოდელს იღებენ და მას ფაინ-თიუნინგით ერგებიან.

პრეტრენინგის დასრულების თარიღი მოდელის ცოდნის ზღვარს განსაზღვრავს: მოვლენებზე, რომლებიც ამის შემდეგ მოხდა, მოდელმა თავისით არაფერი იცის, თუ მას ძიების ინსტრუმენტი არ აქვს.

დაკავშირებული ტერმინები

თვითზედამხედველობითი სწავლება · SFT · ინსტრუქციით გაწვრთნა · ფუნდამენტური მოდელი · გაწვრთნა · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

პრეტრენინგი უზარმაზარ მონაცემებზე სწავლების პირველი ეტაპია, სადაც მოდელი ზოგად ცოდნას იძენს. ყველა შემდეგი ეტაპი მასზე შენდება.