განმამტკიცებელი სწავლება (Reinforcement learning) – სწავლება ცდისა და შეცდომით: აგენტი მოქმედებს, იღებს ჯილდოს ან ჯარიმას და თანდათან უკეთეს სტრატეგიას პოულობს.
როგორ მუშაობს განმამტკიცებელი სწავლება
განმამტკიცებელი სწავლებისას (reinforcement learning) აგენტი გარემოში მოქმედებს და ყოველი მოქმედების შემდეგ იღებს სიგნალს: ჯილდოს ან ჯარიმას. მზა სწორი პასუხები არ არსებობს. აგენტი ცდისა და შეცდომით სწავლობს, რომელი მოქმედებები მოუტანს ყველაზე დიდ ჯამურ ჯილდოს დროთა განმავლობაში. ასე ისწავლა DeepMind-ის AlphaGo-მ გო-ს თამაში, დღეს კი ეს მეთოდი მსჯელობის მოდელების ტრენინგშიც აქტიურად გამოიყენება.
მაგალითი ყოველდღიური ცხოვრებიდან
ძაღლს ახალ ბრძანებას ასწავლი: როცა სწორად შეასრულებს, ჯილდოს აძლევ. თანდათან ძაღლი სწავლობს, რომელი ქცევა მოაქვს სასიამოვნო შედეგს. განმამტკიცებელი სწავლებაც ამ პრინციპით მუშაობს.
რატომ არის განმამტკიცებელი სწავლება მნიშვნელოვანი
- რთული სტრატეგიები – აგენტი პოულობს გადაწყვეტებს, რომლებიც ადამიანს შეიძლება ვერ მოეფიქრებინა.
- რობოტიკა და თამაშები – გამოიყენება რობოტების მართვაში და თამაშებში.
- LLM-ები – RLHF და მსჯელობის მოდელების ტრენინგი განმამტკიცებელ სწავლებას ეყრდნობა.
წაიკითხე: Kimi K3.1 Pro: Moonshot AI-ის ახალი ღია მოდელი.
განმამტკიცებელი სწავლების ძირითადი ცნებები
განმამტკიცებელ სწავლებაში რამდენიმე ძირითადი ცნებაა. აგენტი მოქმედებს გარემოში, რომელიც ყოველ მომენტში გარკვეულ მდგომარეობაშია. აგენტი ირჩევს მოქმედებას, გარემო იცვლება და აგენტი იღებს ჯილდოს. პოლიტიკა არის წესი, რომლითაც აგენტი მდგომარეობის მიხედვით მოქმედებას ირჩევს, და სწავლის მიზანი სწორედ კარგი პოლიტიკის პოვნაა.
ცენტრალური დილემაა კვლევა და გამოყენება. აგენტს შეუძლია გამოიყენოს უკვე ცნობილი კარგი მოქმედება, ან სცადოს ახალი, რომელიც შეიძლება უკეთესი აღმოჩნდეს. მხოლოდ ცნობილის გამოყენებით უკეთეს გზას ვერ იპოვის, ზედმეტი ცდებით კი დროს კარგავს.
ჯილდოს სწორად განსაზღვრა რთულია. თუ ჯილდო ცუდად არის ფორმულირებული, აგენტი შეიძლება მას მიაღწიოს ისე, როგორც დიზაინერს არ უფიქრია, მაგალითად თამაშის ხარვეზის გამოყენებით. ამ მოვლენას ჯილდოს „ჰაკინგს“ უწოდებენ.
ცნობილი მიღწევებია AlphaGo, რომელმაც 2016 წელს გოს მსოფლიოს ერთ-ერთ უძლიერეს მოთამაშეს მოუგო, და რობოტების მართვა. დღეს ის ენობრივი მოდელების ალაინმენტსა და მსჯელობის უნარების გაუმჯობესებაშიც გამოიყენება.
დაკავშირებული ტერმინები
RLHF · მსჯელობის მოდელი · რობოტიკა · AI აგენტი · ზედამხედველობითი სწავლება · AI ლექსიკონი
ხშირად დასმული კითხვები
რა არის „ჯილდოს ჰაკინგი“?
როცა აგენტი ჯილდოს მისაღებად წესების ხარვეზს პოულობს და ამოცანას რეალურად არ ასრულებს.
რით განსხვავდება ზედამხედველობითი სწავლებისგან?
აქ სწორი პასუხები წინასწარ არ არის მოცემული, აგენტი მხოლოდ ჯილდოს სიგნალს იღებს.
შეჯამება
განმამტკიცებელი სწავლება აგენტს ჯილდოებითა და ჯარიმებით ასწავლის. ის თამაშებიდან ენობრივი მოდელების მსჯელობამდე ბევრ სფეროში გამოიყენება.