پیش از سنجش تبدیل گفتار به متن، مشخص کنید خروجی مطلوب برای شما «رونوشت گفتاری» است یا «متن آمادهٔ انتشار». برای سنجش رونوشت گفتاری، واژه‌ای که شنیده شده را در نسخهٔ مرجع نگه دارید. متن ویرایش‌شده را در ستون جدا قرار دهید تا تفاوت دو هدف روشن بماند.
| شنیدهٔ نمونه | مرجع گفتاری | نسخهٔ خواندنی |
|---|---|---|
| «می‌خوام فردا زنگ بزنم» | «می‌خوام فردا زنگ بزنم» | «می‌خواهم فردا تماس بگیرم» |
| واژه‌ای که هر دو بازبین نمی‌شنوند | نشانگر تعریف‌شدهٔ نامفهوم | همان بخش برای بازبینی مشخص شود |
| دو شکل نوشتن یک عدد شنیده‌شده | شکل یکنواخت طبق قرارداد | شکل مناسب انتشار |
برای نیم‌فاصله، رقم و نشانه‌گذاری قواعد مکتوب بگذارید و قبل از محاسبه روی مرجع و خروجی یکسان اعمال کنید. تبدیل «می‌خوام» به «می‌خواهم» را فقط وقتی در نرمال‌سازی قرار دهید که معیار از ابتدا شکل نوشتاری رسمی را می‌سنجد. امتیاز دو آزمایش با قواعد متفاوت مستقیماً قابل مقایسه نیست.
تمرین. ده قطعهٔ مجاز کوتاه انتخاب کنید. دو نفر مستقل رونوشت بنویسند و اختلاف‌ها را در چهار ستون زمان، متن اول، متن دوم و تصمیم نهایی ثبت کنید. دستورالعمل را با دو مورد اختلاف واقعی اصلاح کنید، سپس قبل از مقایسهٔ مدل‌ها نسخهٔ مرجع را ثابت کنید. برای محاسبهٔ نرخ خطای واژه، تعریف و نمونهٔ گوگل را ببینید. راهنمای سنجش دقت گفتار به متن
یک امتیاز، با یک قرارداد ثابت
فرض کنید مرجع چهار واژه دارد: «فردا دوباره تماس بگیر». خروجی «فردا تماس بگیر» یک حذف دارد و در این نمونهٔ کوچک نرخ خطای واژه ۱ از ۴ یا ۲۵٪ است. این درصد فقط برای همین جمله است. در گزارش مجموعه، مجموع خطاها را بر مجموع واژه‌های مرجع تقسیم کنید و قواعد توکن‌سازی را کنار عدد بنویسید.
برگهٔ ثبت آزمون
آشنایی با تبدیل گفتار به متن اپرانگار
وقتی دو بازبین توافق ندارند
فرض کنید یک بازبین در ثانیهٔ پنج «می‌خوام» و دیگری «می‌خواهم» نوشته است. اگر صدای ضبط‌شده محاوره‌ای است و هدف آزمون حفظ صورت شنیده‌شده است، نخستین گزینه در ستون مرجع می‌ماند. اگر اختلاف دربارهٔ چیزی است که واقعاً شنیده می‌شود، هر دو نفر قطعه را بدون دیدن خروجی مدل دوباره گوش کنند و تصمیم را با دلیل کوتاه ثبت کنند.
برای بخش‌هایی که پس از بازبینی هم نامفهوم می‌مانند، پیش از امتیازدهی تعیین کنید نشانگر نامفهوم چگونه از مخرج و شمار خطا جدا می‌شود. مقدار حذف‌شده را در گزارش نگه دارید تا دو آزمون ظاهراً هم‌امتیاز روی مقدار متفاوتی از گفتار سنجیده نشوند. برای مجموعهٔ چندلهجه‌ای، نتیجهٔ هر گروه را در کنار جمع کل گزارش کنید و اندازهٔ هر گروه را هم بنویسید.
فایل صوتی، نسخهٔ مرجع و قرارداد نرمال‌سازی را با شناسهٔ مشترک نگه دارید. اگر بعداً شیوهٔ ثبت اعداد تغییر کرد، آزمایش قبلی را با مرجع تازه تکرار کنید یا نتیجه را در یک ردیف مستقل بگذارید. برای آزمون دوباره، نمونهٔ مرجع همان قطعه و انتظار هر گروه را در کنار نسخهٔ تنظیمات موتور ثبت کنید.