PerplexityیاPPLدر مدل زبانیِ خودبازگشتی،از نمایی‌کردن میانگین زیان لگاریتمیِ توکن‌های هدف به دست می‌آید. برای چند متن،ابتدا باید بدانیم کدام توکن‌ها واقعاً امتیاز گرفته‌اند و جمع زیان روی چند هدف تقسیم شده است. میانگینِPPLدو متن،عموماًPPLکل نیست؛این تفاوت را با دو دنبالهٔ نمادین حساب می‌کنیم.
قرارداد:احتمال هدف،لگاریتم طبیعی و ماسک
برای هر هدفِ امتیازدار،منفیِ لگاریتم طبیعیِ احتمال همان هدف را جمع می‌کنیم. سپس جمع را بر تعداد هدف‌های امتیازدار تقسیم وexpمی‌گیریم: PPL=exp(sum(-ln(p_target))/target_count). احتمال‌ها در بازهٔ بزرگ‌تر از صفر تا یک‌اند. این صفحه خود احتمال‌ها را با مدل تولید نمی‌کند؛عددهای شرطی را برای تمرین تعیین کرده‌ایم.
در هر دنباله،یک موقعیتِ زمینه داریم که در امتیاز حساب نمی‌شود. مقدار آن در فایلnullوماسکشfalseاست. حذف از مخرجِ سنجه به معنی حذفِ آن از زمینهٔ احتمالی نیست؛فقط می‌گوییم هدف امتیازدار این حساب نیست. نام موقعیت‌ها نمادین است و توکن‌های یکtokenizerواقعی نیستند.
یک هدف درA،سه هدف درB
| دنباله | احتمال‌های هدفِ ساختگی | تعداد هدف | جمعNLL | PPLهمان دنباله |
|---|---|---|---|---|
| A | 0.5 | 1 | ln(2) | 2 |
| B | 0.25،0.25،0.25 | 3 | 3×ln(4) | 4 |
دو موقعیتِ زمینه را در هیچ‌کدام از تعدادها نشمرده‌ایم؛کل موقعیت‌های فایل۶ولی هدف‌های امتیازدار۴هستند. اگر همهٔ۶موقعیت را مخرج بگذارید،قرارداد سنجه را عوض کرده‌اید.
سه میانگین متفاوت
میانگین سادهٔPPLها،(۲+۴)/۲=۳است. میانگینPPLها با وزنِ تعداد هدف،(۱×۲+۳×۴)/۴=۳٫۵می‌شود. اماPPLکل از جمعNLLمی‌آید: exp((ln(2)+3×ln(4))/4)=2^(7/4)،حدود۳٫۳۶۳۵۸۶. هیچ‌کدام از دو میانگینِ مستقیمPPL،این عدد نیستند.
برای تجمیع،جمعِ زیان و تعداد هدفِ هر بخش را نگه دارید؛اول میانگین وزنیِNLLو بعدexpرا حساب کنید. میانگین‌گیری و نمایی‌کردن را نمی‌توان بی‌توضیح جابه‌جا کرد. اعداد این مثال،رتبه‌بندی دو مدل یا گزارش کیفیت فارسی نیستند.
مقایسهٔ دوPPLچه قرارداد مشترکی می‌خواهد؟
مجموعهٔ ارزیابی،tokenizer،توکن‌های هدف،روش استفاده از زمینه و رفتار مرز قطعه‌ها باید معلوم باشند. راهنمای توکن فارسی تفاوت واژه و توکن را توضیح می‌دهد؛مخرجِ مدل‌های باtokenizerمتفاوت را یکسان فرض نکنید. برای طول‌های محدود،روش قطعه‌بندی و زمینهٔ در دسترس نیز باید ثبت شوند.
تعریف معمول این سنجه برای مدل‌هایcausalاست؛آن را بدون قرارداد دیگری به مدلِ واژه‌های پنهان‌شده مانندBERTتعمیم نمی‌دهیم. همچنینPPLکمتر به معنی حقیقت‌داشتن پاسخ،حفظ شرط کسب‌وکار یا مناسب‌بودن خروجی یک دستیار نیست. احتمال تولید توکن مرز محتمل‌بودن و درست‌بودن را جدا نشان می‌دهد.
کد چه کرده و چه نکرده است؟
Pythonتعداد۱و۳،جمعNLLها،PPLهای۲و۴وتجمیع۳٫۳۶۳۵۸۶را واقعاً کنترل کرده است. احتمال صفر،احتمال بیش ازیک،هدفِnullو نبود هیچ هدف امتیازدار رد می‌شوند. صفر را در سکوت به مقدار کوچک جایگزین نکرده‌ایم؛چنین تغییری سنجه را عوض می‌کند.
هیچ مدل،APIیاtokenizerاجرا نشده است. تمرین بعد این است که تعداد هدف‌هایBرا عوض کنید و ببینید کدام میانگین باید تازه محاسبه شود. برای ادامهٔ یادگیری، مبانی هوش مصنوعی را ببینید؛این حساب دربارهٔ روش آموزش یا کیفیت محصولات اپرا ادعایی ندارد.
فایل تمرین و منبع
دو دنبالهٔ نمادین با طول هدف نابرابر و ماسک امتیاز · کدNLLوPPLکل؛چهار ورودی نامعتبر هم کنترل می‌شوند
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.