RLHF یا یادگیری تقویتی از بازخورد انسانی، خانواده‌ای از روش‌ها برای تغییر رفتار مدل با استفاده از بازخورد و ترجیح انسان است. اما ترجیح‌داده‌شدن یک جواب با درست‌بودن همهٔ ادعاهایش یکی نیست. در این صفحه، مراحل یک پژوهش مشخص را از یک مثال سادهٔ «لحن خوب ولی موعد غلط» جدا می‌کنیم.
سه مرحلهٔ پژوهشِ مورد اشاره
پژوهش InstructGPT منتشرشده در۴مارس۲۰۲۲، ابتدا از نمونه‌های رفتار مطلوب برای تنظیم نظارت‌شده استفاده می‌کند؛ سپس از مقایسه و رتبه‌بندی پاسخ‌ها یک مدل پاداش می‌سازد؛ در مرحلهٔ بعد سیاست با PPO به سمت پاداش آموزش می‌بیند. این، شرح همان روش پژوهشی است؛ همهٔ روش‌های جدیدِ یادگیری ترجیح الزاماً همین الگوریتم یا ترتیب را ندارند.
در این زنجیره، دادهٔ ترجیح، هدفی را تقریب می‌زند که ارزیاب‌ها و دستور ارزیابی تعریف کرده‌اند. نام «بازخورد انسانی» صحت همیشگی، نمایندگی همهٔ کاربران یا نبود خطا را تضمین نمی‌کند. این صفحه نتایج اندازه‌گیری‌شدهٔ آن پژوهش را به محصولات امروز یا فارسی تعمیم نمی‌دهد.
دو پاسخ به یک سؤال ساختگی
مرجع می‌گوید: «ابزار تا سه‌شنبه بازگردد؛ ابزار رزروشده تا دوشنبه بازگردد.» سؤال این است: «ابزار رزروشده را کی برگردانم؟» دو پاسخ اصیل برای تمرین نوشته‌ایم:
| پاسخ | متن | تطبیق با مرجع |
|---|---|---|
| A | با خیال راحت تا سه‌شنبه فرصت دارید؛ خوشحالیم همراهتان هستیم. | غلط؛ استثنای رزروشده حذف شده |
| B | برای ابزار رزروشده، موعد دوشنبه است. | درست طبق همین مرجع |
ظاهر گرم A، موعد غلط را درست نمی‌کند. B کوتاه‌تر است و در این مثال شرط لازم را حفظ می‌کند. می‌توان لحن B را هم بهتر کرد بدون اینکه موعد عوض شود. هیچ مدل واقعی این دو پاسخ را تولید نکرده و هیچ گروه انسانی در این تمرین رأی نداده است.
یک قانون پاداشِ دست‌ساز چگونه گمراه می‌شود؟
صرفاً برای نمایش، به لحن A امتیاز۲ و B امتیاز۱ داده‌ایم و صحت مرجع را صفر یا یک گرفته‌ایم. اگر قانونِ انتخاب 2×style + fact باشد، A چهار و B سه می‌گیرد و جواب غلط انتخاب می‌شود. این یک مدل پاداش آموزش‌دیده نیست؛ قانون و امتیازها را تحریریه ساخته است. هدف این است که ببینیم ترکیب معیار چگونه می‌تواند خطای مهم را پشت لحن پنهان کند.
اگر در همین تمرین ابتدا حفظ موعد را شرط لازم بگذاریم و بعد میان جواب‌های درست لحن را مقایسه کنیم، فقط B باقی می‌ماند. این هم تضمین عمومی امنیت یا الگوریتم جایگزین RLHF نیست؛ قاعدهٔ پذیرش همین مثال با مرجع روشن است. در مسئلهٔ واقعی، درست‌بودن مرجع و امکان ارزیابی هم باید بررسی شود.
توافق ارزیاب، ترجیح و واقعیت را جدا ثبت کنیم
اگر ارزیاب‌ها واقعاً روی مجموعه‌ای رأی می‌دهند، واحد مقایسه، دستور، پاسخ‌های دیده‌شده و رأی اولیه را نگه دارید. اختلاف می‌تواند از دامنهٔ اختیار، معنی سؤال یا تعریف «بهتر» بیاید. سنجش توافق برچسب‌زن‌ها دربارهٔ ثبت مستقل اختلاف است؛ اینجا می‌بینیم آن ترجیح چگونه به هدف آموزشی وصل می‌شود و چه چیزی را ثابت نمی‌کند.
برای ارزیابی نهایی، نمونه‌های جدا با شاهد و خطاهای مهم لازم‌اند. اندازه‌گیری رضایت یا ترجیح را با سنجش صحت منبع و موفقیت انجام کار یکی ننامید. یک پاسخ خوش‌لحن می‌تواند مفید باشد و در عین حال به اصلاح عدد یا شرط نیاز داشته باشد.
آیا اصلاح یک پیام، وزن مدل را همان لحظه عوض می‌کند؟
از زدن دکمهٔ پسندیدن یا گفتن «جوابت غلط بود» در یک برنامه نمی‌توان نتیجه گرفت وزن‌های مدل فوراً تغییر کرده‌اند. برنامه ممکن است فقط پیام اصلاحی را در زمینهٔ مکالمه نگه دارد؛ شیوهٔ استفاده از بازخورد به سیاست و فرایند همان سرویس وابسته است. اگر شاهدی ندارید، «آموزش فوری مدل» ادعا نکنید.
JSON، دو پاسخ و امتیازهای کاملاً ساختگی را دارد؛ CSV مراحل پژوهش، بازخورد رابط و قانون دستی را جدا می‌کند. حساب۴و۳ و شرط حفظ مرجع محلی کنترل شده‌اند؛ هیچ مدل پاداش یا PPO اجرا نشده است. برای ادامهٔ مبانی، راهنمای هوش مصنوعی را ببینید؛ این مقاله روش آموزش داخلی اپرا را اعلام نمی‌کند.
فایل تمرین و منبع
دو پاسخ و شاهدِ ساختگی؛ امتیازها رأی انسان نیستند · تفکیک مراحل پژوهش، بازخورد رابط و قانون آموزشی
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.