ინსტრუქციით გაწვრთნა (Instruction tuning)

ინსტრუქციით გაწვრთნა (Instruction tuning) – ფაინ-თიუნინგის სახე, როცა მოდელს ასწავლიან, რომ მომხმარებლის ინსტრუქციებს მიჰყვეს.

როგორ მუშაობს ინსტრუქციით გაწვრთნა

პრეტრენინგის შემდეგ მოდელი კარგად აგრძელებს ტექსტს, მაგრამ ყოველთვის არ ესმის, რომ შენი წინადადება დავალებაა. ინსტრუქციით გაწვრთნისას (instruction tuning) მოდელს დამატებით ასწავლიან ათასობით მაგალითზე, სადაც მოცემულია ინსტრუქცია და კარგი პასუხი: „შეაჯამე ტექსტი“, „თარგმნე“, „დაწერე წერილი“. შედეგად მოდელი სწავლობს დავალების გაგებას და შესრულებას.

მაგალითი ყოველდღიური ცხოვრებიდან

თუ პრეტრენირებულ მოდელს დაუწერ „დაწერე ლექსი შემოდგომაზე“, მან შეიძლება უბრალოდ მსგავსი ინსტრუქციების სია გააგრძელოს. ინსტრუქციით გაწვრთნილი მოდელი კი თავად ლექსს დაწერს.

რატომ არის ინსტრუქციით გაწვრთნა მნიშვნელოვანი

• ასისტენტის შექმნა – ჩატბოტების უმეტესობა ამ ეტაპის გარეშე სასარგებლო ასისტენტი ვერ იქნებოდა.
• ზოგადი უნარი – მოდელი სწავლობს ახალი, აქამდე უნახავი ინსტრუქციების შესრულებასაც.
• მომდევნო ნაბიჯები – ხშირად მას RLHF ან სხვა დახვეწის მეთოდები მოსდევს.

ინსტრუქციით გაწვრთნის მონაცემები

ინსტრუქციით გაწვრთნისთვის საჭიროა ბევრი მრავალფეროვანი მაგალითი: შეჯამება, თარგმანი, კითხვა-პასუხი, კოდის წერა, წერილის შედგენა და სხვა. მაგალითები ხშირად სხვადასხვა წყაროდან გროვდება. ნაწილს ადამიანები წერენ, ნაწილი არსებული საჯარო დატასეტებიდან გადაკეთდება ინსტრუქციის ფორმატში, ნაწილს კი სხვა მოდელები აგენერირებენ.

კვლევებმა აჩვენა, რომ ამოცანების მრავალფეროვნება ხშირად უფრო მნიშვნელოვანია, ვიდრე მაგალითების რაოდენობა. თუ მოდელი ბევრ სხვადასხვა ტიპის ინსტრუქციას ნახავს, ის უკეთ ერგება ახალ ინსტრუქციებსაც, რომლებიც ტრენინგში არ შეხვედრია. ასევე მნიშვნელოვანია პასუხების ხარისხი: ცუდი სანიმუშო პასუხები მოდელს ცუდ ჩვევებს ასწავლის.

ინსტრუქციით გაწვრთნისას მოდელი სწავლობს საუბრის ფორმატსაც: სად იწყება მომხმარებლის შეტყობინება და სად ასისტენტის პასუხი. ამისთვის სპეციალური ნიშნები გამოიყენება. ამიტომ ერთი და იგივე მოდელის საბაზისო და ინსტრუქციულ ვერსიებს განსხვავებულად უნდა მიმართო, რომ კარგი შედეგი მიიღო.

ინსტრუქციით გაწვრთნა ხშირად ალაინმენტის პირველი ეტაპია. მის შემდეგ მოდელს კიდევ ერთხელ ავარჯიშებენ ადამიანების შეფასებებზე დაყრდნობით, რომ პასუხები უფრო სასარგებლო და უსაფრთხო გახდეს.

დაკავშირებული ტერმინები

SFT · პრეტრენინგი · RLHF · ფაინ-თიუნინგი · პრომპტი · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

ინსტრუქციით გაწვრთნა მოდელს ასწავლის, გაიგოს და შეასრულოს დავალებები. ის ტექსტის გამგრძელებელს სასარგებლო ასისტენტად აქცევს.