מילון מונחי AI
מה זה RLHF?
למידת חיזוקים ממשוב אנושיRLHF (Reinforcement Learning from Human Feedback)
שיטה לשיפור מודלי שפה: בני אדם מדרגים תשובות, והמודל מאומן להעדיף את סוג התשובות שאנשים דירגו גבוה.
הסבר בפשטות
אחרי האימון המקדים, מודל שפה יודע להשלים טקסט, אבל לא בהכרח לעזור. ב-RLHF, מעריכים אנושיים משווים בין כמה תשובות לאותה שאלה ובוחרים את הטובה. מהדירוגים מאמנים "מודל תגמול", ואיתו מכוונים את מודל השפה.
זה מה שהפך מודלים גולמיים לעוזרים מנומסים שעונים לעניין ומסרבים לבקשות מסוכנות. יש גם תופעות לוואי: מודל שלומד לרצות את המעריכים עלול להיות חנפן ולהסכים עם המשתמש גם כשהוא טועה.