SFT (Supervised fine-tuning)

SFT (Supervised fine-tuning) – ფაინ-თიუნინგი მაგალითებზე, სადაც თითო შეკითხვას ადამიანის მიერ დაწერილი სწორი პასუხი ახლავს.

როგორ მუშაობს SFT

SFT (supervised fine-tuning) ნიშნავს უკვე პრეტრენირებული მოდელის დამატებით სწავლებას მაღალი ხარისხის მაგალითებზე, სადაც თითოეულ შეკითხვას ან დავალებას თან ახლავს სწორი, ხშირად ადამიანის მიერ დაწერილი პასუხი. მოდელი სწავლობს ამ პასუხების სტილისა და შინაარსის მიბაძვას. დიდი ენობრივი მოდელების შექმნისას SFT ჩვეულებრივ პრეტრენინგის შემდეგ და RLHF-ის ან სხვა დახვეწის მეთოდების წინ ტარდება.

მაგალითი ყოველდღიური ცხოვრებიდან

კომპანია ქმნის ათასობით მაგალითს: მომხმარებლის კითხვა და მხარდაჭერის საუკეთესო თანამშრომლის პასუხი. SFT-ის შემდეგ მოდელი მსგავს კითხვებს იმავე სტილით და სიზუსტით პასუხობს.

რატომ არის SFT მნიშვნელოვანი

• ქცევის ფორმირება – მოდელი სწავლობს, როგორ იყოს კარგი ასისტენტი.
• სპეციალიზაცია – შეიძლება მოდელის მორგება კონკრეტულ დარგზე ან ენაზე.
• ხარისხი – შედეგი პირდაპირ მაგალითების ხარისხზეა დამოკიდებული.

SFT-ის მონაცემები და პრაქტიკა

SFT-ისთვის მზადდება წყვილები: მოთხოვნა და მაღალი ხარისხის სანიმუშო პასუხი. მოდელი სწავლობს, რომ მოცემულ მოთხოვნაზე სწორედ ასეთი პასუხი შექმნას. ტრენინგისას შეცდომა ჩვეულებრივ მხოლოდ პასუხის ნაწილზე ითვლება, რადგან მიზანი პასუხის წერაა და არა მომხმარებლის შეტყობინების გამეორება.

მონაცემების ხარისხი აქ გადამწყვეტია. კვლევებმა აჩვენა, რომ რამდენიმე ათასი საგულდაგულოდ შერჩეული მაგალითი ზოგჯერ უკეთეს შედეგს იძლევა, ვიდრე ბევრად მეტი, მაგრამ დაბალი ხარისხის მაგალითი. სანიმუშო პასუხებს წერენ ადამიანები, ან ქმნიან უფრო ძლიერი მოდელები და შემდეგ ამოწმებენ.

SFT-ის ერთ-ერთი რისკია „კატასტროფული დავიწყება“: თუ მოდელს მხოლოდ ვიწრო ამოცანაზე წვრთნიან, მან შეიძლება ზოგადი უნარების ნაწილი დაკარგოს. ამის შესამცირებლად სასწავლო ნაკრებს ზოგად მაგალითებს ურევენ ან LoRA-ს მსგავს მეთოდებს იყენებენ.

ჩატ-ასისტენტების შექმნისას SFT ჩვეულებრივ პრეტრენინგს მოსდევს და RLHF-ს ან DPO-ს წინ უსწრებს. ის მოდელს საუბრის ფორმატს და ინსტრუქციების შესრულებას ასწავლის.

დაკავშირებული ტერმინები

ფაინ-თიუნინგი · ინსტრუქციით გაწვრთნა · RLHF · პრეტრენინგი · ზედამხედველობითი სწავლება · AI ლექსიკონი

ხშირად დასმული კითხვები

შეჯამება

SFT პრეტრენირებულ მოდელს სწორ პასუხებიან მაგალითებზე ასწავლის. ეს ეტაპი მოდელს სასარგებლო და დავალებაზე ორიენტირებულ ასისტენტად აქცევს.