CER خطای نویسه و WER خطای واژه را می‌سنجد. در فارسی، عوض‌شدن یک فاصله می‌تواند مرز واژه‌ها را تغییر دهد؛ بنابراین همان اختلاف کوچک نوشتاری در این دو سنجه اثر یکسان ندارد. برای گزارش ارزیابی، واحد شمارش و قرارداد نویسه‌ها را همراه عدد بنویسید.
مثال شش نویسه‌ای
مرجع را می‌روم با نیم‌فاصله و خروجی را می روم با فاصله معمولی بگیرید. در قرارداد آموزشی این مقاله، حروف و فاصله و نیم‌فاصله هر کدام یک code point یونیکد حساب می‌شوند. مرجع شش واحد دارد و یک واحد عوض شده است؛ CER برابر 1/6 یا حدود ۱۶٫۷ درصد می‌شود.
اگر واژه را با فاصله معمولی جدا کنیم، مرجع یک واژه و خروجی دو واژه است. فاصله ویرایشی در سطح واژه دو است: یک جایگزینی و یک اضافه. WER این مثال ۲ یا ۲۰۰ درصد می‌شود. هیچ مدل صوتی در این مثال آزمایش نشده است؛ اختلاف عدد، نتیجه واحد شمارش دو رشته ساخته‌شده است.
کد قابل اجرا، بدون مدل و API
دریافت کد کامل محاسبه. با پایتون اجرا می‌شود و فقط دو رشته نمونه را مقایسه می‌کند. تابع فاصله ویرایشی برای نویسه‌ها و واژه‌ها مشترک است؛ چیزی که عوض می‌شود واحدهای ورودی‌اند.
python persian-cer-boundary-demo.py
CER: edits=1, reference_units=6, rate=0.1666...
WER: edits=2, reference_units=1, rate=2.0«نویسه» را دقیق تعریف کنید
کد نمونه code point را می‌شمارد، نه شکل دیده‌شده یا خوشه کامل نویسه. ترکیب برخی علامت‌ها ممکن است این دو را متفاوت کند. NFC بخشی از شکل‌های معادل را یکسان می‌کند، اما جای قرارداد دقیق درباره اعراب، نیم‌فاصله، کشیده یا شکل رقم را نمی‌گیرد. اگر علامت را حذف می‌کنید، قاعده را پیش از مقایسه ثبت کنید و متن اصلی را نگه دارید.
پاک‌کردن همه فاصله‌ها برای کوچک‌کردن CER می‌تواند اتصال غلط واژه‌ها را پنهان کند. در مقابل، بدون توضیح قرارداد سخت‌گیرانه هم ممکن است اختلاف نگارشی را با خطای شنیداری مخلوط کنید. عدد خام و عدد پس از قواعد ثابت، هر دو می‌توانند در گزارش جای داشته باشند؛ نام هر کدام باید روشن باشد.
برای انتخاب مدل، کدام را ببینیم؟
| نیاز | کنترل مفید |
|---|---|
| مقایسه نوشتار و مرز واژه | CER و WER کنار نمونه خطا |
| درستی مبلغ یا تاریخ | صحت فیلد حساس جدا از میانگین متن |
| تغییر قواعد نرمال‌سازی | محاسبه دوباره هر دو نسخه روی همان مجموعه |
| گزارش چند فایل | مجموع خطا و مجموع واحد مرجع؛ میانگین ساده درصد فایل‌ها الزاماً برابر نیست |
کمترشدن CER به‌تنهایی درست‌شدن عدد حساس یا گوینده را ثابت نمی‌کند. مرجع خالی هم در این کد رد می‌شود؛ تقسیم بر صفر را به امتیاز صفر و نتیجه عالی تبدیل نکنید. درج‌های زیاد می‌توانند نرخ خطا را از ۱۰۰ درصد بالاتر ببرند.
برای قواعد ی، ک و رقم‌ها، محاسبه WER فارسی با قرارداد نگارش را ببینید. برای نتیجه عملیاتی، نام و عدد در متن تماس مکمل این سنجه است. در درخواست از اپرانگار، نمونه مرجع و قرارداد سنجش خود را مطرح کنید؛ هیچ عدد مثال این صفحه دقت اپرانگار نیست.
منبع تعریف CER: کارت سنجه CER در Hugging Face Evaluate. روش واحدشمارش و مثال فارسی، انتخاب صریح این مقاله است و اجرای سرویس آنلاین منبع لازم نیست.