BLEUوROUGEخانواده‌هایی از سنجه‌های مقایسهٔ متن با مرجع‌اند؛هم‌پوشانی عددی،صحت معنا را تضمین نمی‌کند. با سه متنِ اصیل،BLEU-4بدونsmoothingوROUGE-1recallرا حساب می‌کنیم. یک جمله با نفیِ عوض‌شده می‌تواندBLEUبالاتری از بازنویسیِ هم‌معنا بگیرد؛تکرار یک واژه هم باید با شمارشِ بریده محدود شود.
قراردادِ همین تمرین
مرجع «امروز سفارش را لغو نکن»است؛پنج واحد با جداکردن بر اساس فاصله داریم. ریشه‌یابی،تبدیل نویسه،چندمرجعی یا مدل زبانی نداریم. هر مقایسه را یکmini-corpusجدا با یک جفت مرجع/کاندیدا می‌گیریم؛نتیجهٔ سه جفت را با هم به عنوانBLEUیک مجموعه گزارش نکرده‌ایم.
BLEUاین تمرین ازn-gramهای۱تا۴با وزن برابر۰٫۲۵استفاده می‌کند. برای هرn،تعداد تطبیق را به سقفِ تعدادِ همانn-gramدر مرجع محدود و بر تعدادn-gramهای کاندیدا تقسیم می‌کنیم. این همان دلیلِ «بریده»بودن شمارش است؛حضور واژه در مرجع،مجوز شمردن تکرار نامحدود آن نیست.
نفیِ عوض‌شده،واژه‌های بسیار مشترک دارد
کاندیدای اول «امروز سفارش را لغو کن»است. از نظر دستورِ مثال،نفی حذف و عمل برعکس شده است؛اماچهار واژهٔ نخست مشترک‌اند. نسبت‌های اصلاح‌شده به‌ترتیب۴/۵،۳/۴،۲/۳و۱/۲هستند. طول مرجع و کاندیدا هر دو۵و جریمهٔ کوتاهی۱است؛میانگین هندسی، (0.2)^(1/4)،حدود۰٫۶۶۸۷۴۰می‌شود.
بازنویسیِ هم‌معنا،BLEUصفر می‌گیرد
کاندیدای دوم «امروز سفارش را کنسل نکن»است. در این جملهٔ ساده،کنسل‌کردن همان لغوکردن است و نفی حفظ شده؛اما هیچ۴-gramمشترکی نداریم. نسبت‌ها۴/۵،۱/۲،۱/۳وصفراست. بدونsmoothing،یکی از عوامل صفر وBLEU-4صفر می‌شود. این صفر به معنی بی‌معنا یا الزاماًبدبودن جمله نیست؛اثرِ قرارداد سنجه و همین مرجع است.
| کاندیدا | BLEU-4بدونsmoothing | ROUGE-1recall | مسئلهٔ معنایی |
|---|---|---|---|
| امروز سفارش را لغو کن | 0.668740 | 0.8 | نفی و تکلیف عوض شده |
| امروز سفارش را کنسل نکن | 0 | 0.8 | در این نمونه معنا حفظ شده |
| امروز امروز امروز امروز امروز | 0 | 0.2 | تکرار،اطلاعات جمله را برنمی‌گرداند |
ROUGE-1recallدر این قرارداد،شمار واژه‌های مشترکِ محدودشده به تعداد مرجع را بر پنج واژهٔ مرجع تقسیم می‌کند. دو جملهٔ اول۴/۵دارند؛این برابری تغییر نفی را آشکار نمی‌کند. اینجاROUGE-Lیا همهٔگونه‌هایROUGEرا اجرا نکرده‌ایم.
تکرار و کوتاهی را جدا ببینیم
در کاندیدای سوم،واژهٔ «امروز»پنج بار آمده ولی مرجع فقط یک بار آن را دارد؛پس شمارشِunigramبیش از۱نمی‌شود. برای فهمِ جداگانهٔ جریمهٔ کوتاهی،اگر طول کاندیدا۲ومرجع۵باشد،BPبرابرexp(۱−۵/۲)،حدود۰٫۲۲۳۱۳۰است. این فقط مثالِ عاملBPاست؛کدBLEU-4محدودِ ما کاندیدای کمتر از۴واحد را برای امتیاز کامل رد می‌کند.
عددها را با قرارداد و بازبینی معنا تحویل دهیم
تعدادمرجع،نوعtokenization،حدn،وزن،smoothingو روش تجمیع باید ثبت شوند. BLEUدر کار پژوهشی معمولاًدر سطح مجموعه بررسی می‌شود؛این سه تمرین کوچک،آزمون ترجمه یا خلاصه‌ساز واقعی نیستند. محاسبهٔWERفارسی سنجه و هم‌ترازی دیگری دارد؛نتیجهٔ آن را با همین عددها جابه‌جا نکنید.
Pythonتمام شمارش‌ها،سه خروجی و عاملBPرا واقعاً کنترل کرده است. بازبین انسانی باید معنی،نفی،عدد و شرط را جدا بخواند؛سنجهٔ هم‌پوشانی جای آن نیست. ادامهٔ مطالعه در مبانی هوش مصنوعی است؛این مثال هیچ عددِ کیفیت یا روشِ ارزیابی داخلیِ محصول اپرا را اعلام نمی‌کند.
فایل تمرین و منبع
سه متن اصیل،شمارش‌هایBLEU-4وROUGE-1با قرارداد دقیق · کد شمارشِ بریده،جریمهٔ کوتاهی و صفرشدن بدونsmoothing
- مقالهٔ اصلی BLEU، Papineni و همکاران، ژوئیه۲۰۰۲؛ بخش۲
- مقالهٔ اصلی ROUGE، Chin-Yew Lin، ۲۰۰۴؛ تعریف ROUGE-N
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.