تقطیر دانش یعنی آموزش یک مدل دانش‌آموز با استفاده از رفتار یا خروجی‌های مدل معلم. در یک شکل رایج، به‌جای دادن فقط برچسب نهایی، توزیع امتیازهای معلم هم وارد هدف آموزش می‌شود. این با کپی سادهٔ وزن‌ها یا کوچک‌کردن دقت ذخیره‌سازی تفاوت دارد. با سه توزیع فرضی می‌بینیم چه اطلاعاتی در پاسخ نرم وجود دارد.
برچسب سخت چه چیزی را کنار می‌گذارد؟
سه کلاس A، B و C داریم. معلمِ آموزشی ما توزیع۰٫۸،۰٫۱۵،۰٫۰۵ می‌دهد و برچسب نهایی A است. اگر فقط A را انتقال دهیم، تفاوت بین B و C ناپدید می‌شود. در توزیع نرم، سهم B سه برابر C است. این تفاوت از نظر خود معلم معنا دارد؛ هنوز شاهد درستی معلم یا احتمال واقعی رخدادها نیست.
| توزیعِ انتخاب‌شده برای تمرین | A | B | C | دستهٔ نهایی |
|---|---|---|---|---|
| معلم | 0.8 | 0.15 | 0.05 | A |
| دانش‌آموز۱ | 0.7 | 0.2 | 0.1 | A |
| دانش‌آموز۲ | 0.8 | 0.1 | 0.1 | A |
هر سه A را انتخاب می‌کنند، اما توزیع‌ها برابر نیستند. اگر برچسب درست همین نمونه A باشد، دقتِ یک‌نمونه‌ای بین آن‌ها فرق نمی‌کند. برای سنجش تقلید توزیع معلم، باید معیار دیگری داشته باشیم. این جدول دست‌ساز است؛ هیچ معلم یا دانش‌آموز واقعی آموزش ندیده است.
فاصلهٔ توزیع را مستقل حساب کنیم
در این تمرین با دمای۱، Cross-entropy نرم را به شکل −Σ pᵢ ln(qᵢ) حساب می‌کنیم؛ p توزیع معلم و q دانش‌آموز است. KL جهت معلم به دانش‌آموز برابر Σ pᵢ ln(pᵢ/qᵢ) است. برای p ثابت، هر دو معیار همان ترتیب مقایسه را می‌دهند، چون آنتروپی p یک مقدار مشترک است.
Cross-entropy دانش‌آموز۱ حدود۰٫۶۴۱۹ و دانش‌آموز۲ حدود۰٫۶۳۹۰ است؛ KL آن‌ها به‌ترتیب حدود۰٫۰۲۹۰ و۰٫۰۲۶۲ می‌شود. هر دو فاصله از صفر بیشتر دارند، اما دانش‌آموز۲ در این معیار به معلم نزدیک‌تر است. کد همراه مقدارهای کامل را محاسبه می‌کند و صفرشدن KL معلم با خودش را نیز بررسی کرده است. محاسبه فقط روی این بردارهای مثبت انجام می‌شود؛ قرارداد صفرها و توزیع‌های نامعتبر در کد عمومی به کنترل جدا نیاز دارد.
دمای تقطیر با دمای چت یکی فرض نشود
پژوهش کلاسیک تقطیرِ۲۰۱۵، نرم‌کردن توزیع با دما و یادگیری از هدف نرم را شرح می‌دهد. در آموزش، دما و وزن ترکیب هدف نرم با برچسب واقعی باید قرارداد مشخص داشته باشند. مثال ما برای ساده‌ماندن T=1 دارد و حلقهٔ آموزش یا اثر تغییر دما را اجرا نمی‌کند. تغییر تنظیم تولید متن در رابط چت، به‌خودی‌خود اجرای تقطیر نیست.
همچنین «نزدیک‌تر به معلم» با «درست‌تر نسبت به واقعیت» یکی نیست. اگر معلم در نمونه‌ای اشتباه کند، تقلید وفادارانه می‌تواند همان خطا را منتقل کند. برای همین، دادهٔ ارزیابی مستقل و مرجع قابل دفاع را نگه دارید و فقط توافق دانش‌آموز با معلم را گزارش نکنید.
مقایسهٔ کاربردی باید چه طرف‌هایی داشته باشد؟
- معلم، با نسخه و روش تولید معلوم.
- دانش‌آموزِ تقطیرشده، با داده و هدف آموزش ثبت‌شده.
- یک مدل کوچکِ خط مبنا با اندازهٔ مشابه دانش‌آموز که بدون همان سیگنال تقطیر آموزش دیده باشد.
روی دادهٔ یکسان، صحت، خطاهای مهم، زمان پاسخ و منابع واقعی را جدا بسنجید. کوچک‌بودن معمولاً انگیزهٔ استقرار است، اما نسبت سرعت یا کیفیت از شمار پارامتر به‌تنهایی به دست نمی‌آید؛ تعداد پارامتر معیار کامل کیفیت نیست. مصرف آموزش و تولید دادهٔ معلم را نیز از اجرای روزمرهٔ دانش‌آموز جدا نگه دارید.
فایل تمرین و قدم بعد
JSON و Python پایین صفحه، همین سه بردار و محاسبهٔ Cross-entropy و KL را دارند. آن‌ها با کتابخانهٔ استاندارد محلی اجرا شده‌اند؛ نصب مدل، API، GPU یا بنچمارک واقعی انجام نشده است. تنظیم دقیق و آموزش از صفر تصمیم کلی دیگری است؛ در این صفحه کانال انتقال رفتار معلم را بررسی کردیم. برای ادامهٔ مبانی، راهنمای هوش مصنوعی را ببینید؛ استفاده از تقطیر در محصول اپرا در این راهنما ادعا نشده است.
فایل تمرین و منبع
توزیع معلم و دو دانش‌آموز فرضی؛ JSON · کد محلی Cross-entropy و KL برای همین مثال
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.