در یادگیری خودنظارتی یا self-supervised learning، هدف آموزشی از ساختار خود داده ساخته می‌شود؛ مثلاً بخشی از متن پنهان شود و مدل بازسازی آن را یاد بگیرد. «برچسب دستی برای هر نمونه لازم نیست» به معنی «هیچ هدفی وجود ندارد» یا «داده درست و بی‌خطاست» نیست. با سه جمله، ساخت شش هدف را قدم‌به‌قدم می‌بینیم؛ مدل در این تمرین آموزش داده نشده است.
کدام بخش را خود داده تأمین می‌کند؟
در مسئلهٔ دسته‌بندی پیام، انسان ممکن است برای هر پیام برچسب «درخواست» یا «شکایت» بنویسد. در تمرین خودنظارتیِ متن، پاسخِ قسمت پنهان از خود جملهٔ اصلی استخراج می‌شود. هنوز ورودی، خروجی هدف و قاعدهٔ آموزش لازم است؛ فقط منشأ این هدف با دستهٔ انسانیِ بیرونی فرق دارد.
مقایسهٔ یادگیری نظارت‌شده و بدون نظارت به انتخاب خانوادهٔ مسئله می‌پردازد. اینجا تمرکز روی تبدیل یک دادهٔ موجود به زوجِ ورودی و هدف است، نه پیدا‌کردن گروه‌های موضوعی یا ساخت دستهٔ سازمانی.
سه جملهٔ آموزشیِ ساختهٔ تحریریه
جمله‌ها «کتاب تازه رسید»، «باران آرام بارید» و «اتوبوس زود آمد» هستند. هر جمله را برای سادگی دقیقاً سه واژه در نظر گرفته‌ایم. این جداسازیِ واژه‌ای، tokenizerیک مدل واقعی نیست و نام [MASK]هم یک نشان قراردادی در فایل تمرین است.
| جمله | ورودی با واژهٔ پنهان | هدف بازسازی | ورودیِ ادامه | هدف بعدی |
|---|---|---|---|---|
| کتاب تازه رسید | کتاب [MASK] رسید | تازه | کتاب تازه | رسید |
| باران آرام بارید | باران [MASK] بارید | آرام | باران آرام | بارید |
| اتوبوس زود آمد | اتوبوس [MASK] آمد | زود | اتوبوس زود | آمد |
در ستون اولِ تمرین، واژهٔ میانی پنهان است و واژهٔ پس از آن در ورودی دیده می‌شود. در تمرین ادامه، فقط دو واژهٔ قبلی را داده‌ایم. بنابراین دسترسی به زمینه در این دو قرارداد یکی نیست. نباید نتیجهٔ یکی را بدون توضیح به روش دیگر نسبت دهیم.
ساخت هدف، همان آموزش نیست
Pythonاز هر جمله دو ردیف می‌سازد: یکی با ورودی پنهان‌شده و دیگری با پیشوند. سپس واژهٔ هدف را در جای خودش می‌گذارد و برابری با جملهٔ اصلی را واقعاً کنترل می‌کند. شش بازسازی موفق به ما می‌گوید فایل تمرین مطابق قرارداد ساخته شده است؛ دربارهٔ قدرت مدل، خطای پیش‌بینی یا سرعت یادگیری چیزی نمی‌گوید.
در آموزش واقعی، مدل با دیدن ورودی خروجی پیش‌بینی می‌کند و اختلاف آن با هدف وارد تابع زیان می‌شود. کد این صفحه پیش‌بینی، زیان، به‌روزرسانی وزن یا ارزیابی مدل ندارد. همچنین برای سادگی، تنوع محل پنهان‌کردن و قرارداد واقعی پیش‌آموزش یک خانوادهٔ خاص را بازسازی نکرده‌ایم.
اگر متن غلط باشد، هدف هم می‌تواند همان غلط را حفظ کند
فرض کنید جملهٔ اصلی ادعای نادرستی دربارهٔ یک رویداد داشته باشد. استخراج واژهٔ حذف‌شده از همان جمله، صحت رویداد را بررسی نمی‌کند. خودنظارتی به معنی حقیقت‌سنجی خودکار نیست. پاک‌سازی، منشأ مجاز داده، حذف اطلاعات حساس و جداسازی ارزیابی همچنان تصمیم‌های جداگانه‌اند.
چند نسخهٔ پنهان‌شده از یک جمله، شاهد مستقلِ چند منبع نیستند. اگر اصل جمله در آموزش و نسخهٔ بسیار نزدیک در آزمون باشد، نتیجه می‌تواند دربارهٔ تعمیم گمراه‌کننده شود. در فایل همراه، source_idحفظ شده تا این وابستگی دیده شود؛ تقسیم واقعی مجموعه در این تمرین انجام نشده است.
خودنظارتی با بازخورد پسندیدن پاسخ فرق دارد
بازخورد ترجیح یا انتخاب میان دو پاسخ، هدف دیگری دارد؛ پنهان‌کردن واژه از متن، رأی کاربر دربارهٔ کیفیت پاسخ نیست. همچنین از امکان پیش‌آموزشِ خودنظارتی نتیجه نمی‌شود که هر گفت‌وگوی تازه فوراً وزن محصولی را تغییر می‌دهد. آن رفتار به سامانه و سیاست واقعی ارائه‌دهنده وابسته است؛ این مقاله چنین قابلیتی را به اپرا نسبت نمی‌دهد.
تمرین بعدی
یک جملهٔ سه‌واژه‌ایِ تازه و غیرحساس بسازید، دو زوج ورودی/هدف را ابتدا دستی بنویسید و با تابع مقایسه کنید. اگر واژه‌های بیشتری دارید، قرارداد را پیش از تغییر کد تعریف کنید. برای انتخاب ادامهٔ مطالعه، نقشهٔ مبانی هوش مصنوعی را ببینید؛ کاربرد نهایی باید جدا از هدف پیش‌آموزش سنجیده شود.
فایل تمرین و منبع
سه جمله و شش هدف ساخته‌شده از خود داده · کد محلی ساخت و بازسازی شش هدف؛ بدون آموزش
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.