متن تماس ممکن است بیشتر واژه‌ها را درست نوشته باشد اما همان یک رقم اشتباه، اقدام بعدی را به مسیر غلط ببرد. برای ارزیابی کاربردی، دقت کلی متن و صحت فیلدهای حیاتی را جدا بسنجید. این دو سنجه جای هم را نمی‌گیرند و هر کدام نقصی متفاوت را نشان می‌دهند.
مرجع را با قرارداد نوشتاری روشن آماده کنید
در نمونه آموزشی، نام، زمان و شناسه همگی ساختگی‌اند. ابتدا بنویسید اعداد با رقم ثبت می‌شوند یا حروف، نیم‌فاصله چگونه یکسان می‌شود و اصلاح مشتری در پایان چه اثری دارد. بدون چنین قرارداد ساده‌ای، ممکن است دو شکل نوشتن یک مقدار را خطا حساب کنید یا دو مقدار واقعاً متفاوت را با پاک‌سازی بیش‌ازحد یکی کنید. مرجع هم باید توسط فرد مجاز کنترل شود؛ یک متن خودکار دیگر، مرجع حقیقت نیست.
مثال: یک خطا، یک تصمیم متفاوت
در تماس فرضی مشتری می‌گوید «برای روز دوازدهم می‌خواهم، نه دوم». متن نهایی، روز دوم را ثبت می‌کند. حتی اگر بقیه جمله‌ها دقیق باشند، فیلد روز غلط است. اصلاح فقط محاسبه امتیاز بهتر برای کل متن نیست؛ باید آخرین اصلاح تأییدشده در استخراج فیلد دیده شود و در صورت ابهام از کاربر تأیید معتبر گرفته شود. این مثال نباید به رزرو واقعی یا ارسال پیام در محیط آزمون منجر شود.
جدول کنترل فیلدهای مهم
| فیلد ساختگی | مرجع | خروجی فرضی | حکم |
|---|---|---|---|
| روز | ۱۲ | ۲ | خطای فیلد حیاتی |
| واحد خدمت | آموزش | آموزش | درست |
| نام نمونه | نام آموزشی الف | نام مشابه ب | نیازمند اصلاح، بدون حدس |
| نسخه نهایی درخواست | آخرین گفته تأییدشده | گفته اولیه | خطای حفظ اصلاح |
WER چه می‌گوید و چه نمی‌گوید؟
تعریف کوتاه در راهنمای Google، خطای واژه را از جایگزینی، حذف و اضافه نسبت به مرجع می‌سازد؛ امتیاز اطمینان سامانه همان سنجه نیست. برای تصمیم عملیاتی، علاوه بر آن بنویسید چند فیلد ضروری درست استخراج شده‌اند و چند مورد درست به حالت نامعلوم رفته‌اند. اعتماد زیاد خروجی، شاهد درست‌بودن رقم یا نام نیست. آستانه قبول را با ریسک همان کار تعیین کنید، نه عددی که صرفاً در دموی دیگری دیده‌اید.
اسم ناآشنا را با اسم آشنا عوض نکنید
در بازبینی انسانی هم خطر حدس وجود دارد. اگر صوت مبهم است، «نامعلوم» و مسیر روشن‌سازی بهتر از انتخاب نزدیک‌ترین نام رایج است. برای آزمون نام‌ها از فهرست مجاز و ساختگی استفاده کنید؛ نام مشتری واقعی را صرفاً برای غنی‌شدن مجموعه آزمون عمومی نکنید. لهجه، نویز و کیفیت کانال را جدا ثبت کنید تا بدانید خطا در چه شرایطی رخ داده است.
گزارش ارزیابی به اقدام برسد
به‌جای یک درصد کلی، تعداد نمونه، قرارداد مرجع، نوع فیلد و نمونه خطا را نشان دهید. اگر بیشتر خطاها در اصلاح روز هستند، سناریوی تأیید آخرین زمان را تمرین کنید؛ اگر در شنیدن نام‌اند، مسیر دریافت روشن‌تر لازم است. پس از اصلاح، نمونه‌های قبلی و موارد تازه را جدا گزارش کنید. این روش پیشنهادی، قابلیت خودکار موجود در اپرا یا تضمین صحت متن محصول را اعلام نمی‌کند.
ادامه بررسی با داده خودتان
برای تکمیل این بررسی، هوش مصنوعی صوتی چگونه کار می‌کند؟ از تبدیل گفتار به متن تا تولید پاسخ و نوبت‌گیری در مکالمه صوتی چیست؟ چرا ایجنت هوش مصنوعی وسط حرف مشتری می‌پرد؟ را در کنار نمونه‌های مجاز تیم خود ببینید. اگر مسئله شما ارزیابی مکالمه و گزارش مدیریتی است، بسته‌های تحلیل تماس و مسیر دریافت پیشنهاد از فروش را بررسی کنید. درباره تناسب هر قابلیت با این روال، پیش از خرید از تیم فروش توضیح و شاهد اجرایی بخواهید.
منبع تعریف محدود این راهنما: Google Cloud: Measure and improve speech accuracy. مثال‌ها و عددها آموزشی و ساختگی‌اند و نتیجه مشتری اپرا نیستند.
راهنماهای مرتبط با این مسئله
آزمون ایجنت با نویز و لهجه؛ ماتریس تست به‌جای یک دموی آرام و پوشاندن اطلاعات در متن تماس را چطور تست کنیم؟ جاافتادگی و حذف اضافه می‌توانند گام بعدی بررسی تیم شما باشند.