دقت هشدار تحلیل تماس را با یک درصد کلی نمی‌توان فهمید. برای یک هشدار مشخص، مثل «نیاز به بررسی قول بدون پشتوانه»، دو سؤال جدا داریم: چند هشدار واقعاً درست‌اند و چند مورد واقعی پیدا شده‌اند؟ Precision و Recall به این دو سؤال پاسخ می‌دهند؛ مرجع انسانی معتبر و تعریف روشن برچسب پیش‌نیاز هر دو است.
چهار خانه ماتریس خطا
| مرجع انسانی | هشدار سامانه | نام نتیجه |
|---|---|---|
| مورد وجود دارد | هشدار داده | مثبت درست؛ TP |
| مورد وجود ندارد | هشدار داده | مثبت کاذب؛ FP |
| مورد وجود دارد | هشدار نداده | منفی کاذب؛ FN |
| مورد وجود ندارد | هشدار نداده | منفی درست؛ TN |
محاسبه با مثال کاملاً ساختگی
در ۱۰۰ تماس فرضی، مرجع انسانی ۲۰ مورد را مثبت می‌داند. سامانه ۱۵ مورد از آن‌ها را پیدا می‌کند، ۵ مورد را از دست می‌دهد و روی ۱۰ تماس بدون آن مسئله هم هشدار می‌دهد. بنابراین TP=15، FN=5، FP=10 و TN=70 است.
Precision برابر است با TP تقسیم بر TP+FP؛ یعنی ۱۵ از ۲۵ هشدار، یا ۶۰ درصد. Recall برابر است با TP تقسیم بر TP+FN؛ یعنی ۱۵ از ۲۰ مورد واقعی، یا ۷۵ درصد. این اعداد عملکرد هیچ محصولی نیستند. اگر مخرج صفر باشد، آن شاخص برای این نمونه تعریف نشده است؛ آن را خودکار ۱۰۰ یا صفر ننامید.
چرا درصد درستی کلی کافی نیست؟
مدلی که روی هیچ تماسی هشدار نمی‌دهد، در همین مثال ۸۰ تماس منفی را درست می‌نامد اما هیچ مسئله واقعی را پیدا نمی‌کند. عدد ۸۰ درصد، به‌تنهایی برای ارزیابی کاربرد هشدار گمراه‌کننده است. از طرف دیگر، هشدار روی همه تماس‌ها، بار بررسی انسانی را بالا می‌برد. هزینه هر نوع خطا را صاحب فرایند تعیین می‌کند؛ یک آستانه عمومی برای همه تیم‌ها نداریم.
مرجع را قبل از محاسبه محکم کنید
تعریف مثبت، محدوده شاهد و روش حل اختلاف ارزیاب‌ها را بنویسید. تماس نامفهوم یا برچسب حل‌نشده را بی‌صدا منفی نکنید؛ تعداد موارد کنارگذاشته‌شده و دلیلشان را گزارش کنید. برای هر برچسب، ماتریس مستقل بسازید؛ جمع‌زدن موضوع‌های متفاوت بدون توضیح مخرج، ارزیابی دیگری تولید می‌کند.
خروجی تصمیم
جدول باید علاوه بر شاخص، تعداد تماس، نسخه، بازه و شرایط نمونه را نشان دهد. بهبود روی نمونه کوچک یا انتخاب‌شده، شاهد بهبود همه تماس‌ها نیست. قبل از تغییر فرایند، خطاهای مهم را با تماس مجاز و ارزیابی انسانی بررسی کنید.
دانلود کاربرگ و روش استفاده
دانلود کاربرگ CSV این راهنما را دریافت کنید. فایل با اکسل قابل واردکردن است؛ ردیف‌های نمونه ساختگی‌اند. نسخه کاری را جدا نگه دارید، ستون‌های مربوط به فرایند خود را تکمیل کنید و اطلاعات خصوصی مشتری را در فایل عمومی نگذارید. این فایل اقدام خودکار، ارسال پیام یا اتصال به CRM انجام نمی‌دهد.
منبع فنی و دامنه ارجاع
مرجع scikit-learn تعریف Precision و Recall را ارائه می‌کند؛ اعداد، ماتریس و تصمیم‌های کاربردی این مقاله آموزشی و مستقل از عملکرد اپرا هستند. مطالعه منبع اصلی. تاریخ بررسی: ۳۱ اکتبر ۲۰۲۶؛ تاریخ انتشار منبع از این تاریخ استنباط نشده است.
راهنمای مرتبط و قدم بعدی
برای تکمیل همین بررسی، کاتالوگ خطاهای تحلیل تماس؛ هر اختلاف را خطای هوش مصنوعی ننامیم و خطای بحرانی در ارزیابی تماس چیست؟ جدول شدت و شاهد را بخوانید.
اگر قصد ارزیابی راهکار اجرایی دارید، یک نمونه مجاز و معیار پذیرش همین مسئله را آماده کنید و اپرابین و تحلیل تماس را بررسی کنید. در درخواست بررسی یا دمو، همین محدودیت و خروجی مورد انتظار را مطرح کنید؛ انتخاب بسته یا دیدن نمونه به معنی اتصال، ثبت نهایی یا فعال‌شدن فوری خدمت نیست.