منحنی چه چیزی را خلاصه می‌کند؟
یک آستانه فقط یک نقطه از رفتار مدل را نشان می‌دهد. برای ساخت منحنی Precision–Recall، رکوردها را از امتیاز زیاد به کم مرتب می‌کنیم و با پایین‌آوردن آستانه، نمونه‌های بیشتری وارد مجموعه انتخاب می‌شوند. Average Precision یا AP کیفیت این ترتیب را با افزایش recall خلاصه می‌کند؛ خودش دستور انتخاب آستانه نهایی نیست.
چهار رکورد برای محاسبه دستی
نمونه‌های آموزشی به‌ترتیب امتیاز 0.9، 0.8، 0.7 و 0.1 دارند. واقعیت آن‌ها به‌ترتیب مثبت، منفی، مثبت و منفی است؛ در کل دو مثبت داریم. پس از انتخاب رتبه اول، precision یک و recall نیم است. پس از دو رتبه، precision نیم و recall همان نیم می‌ماند. پس از سه رتبه، precision دو‌سوم و recall یک می‌شود. با انتخاب همه، precision نیم و recall یک است.
AP از افزایش recall می‌آید
در این مثال recall فقط دو بار زیاد می‌شود: از صفر به نیم در رتبه اول و از نیم به یک در رتبه سوم. فرمول AP مجموع افزایش recall ضرب‌در precision همان نقطه است. بنابراین 0.5×1 + 0.5×(2/3) = 5/6، یعنی حدود 0.8333 داریم. رتبه دوم و چهارم چون recall را افزایش نداده‌اند، سهم مستقلی در این جمع ندارند. این AP غیر‌درون‌یابی‌شده است و با مساحت ذوزنقه‌ای زیر نمودار یکی فرض نمی‌شود.
چرا ترکیب جمعیت مهم است؟
اگر تعداد منفی‌ها در مجموعه ارزیابی عوض شود، precision و رفتار نمودار می‌توانند عوض شوند. برای مقایسه دو مدل، همان رکوردها و تعریف مثبت لازم است. همچنین امتیازهای برابر باید به‌عنوان گروه آستانه یکسان مدیریت شوند؛ ترتیب دلخواه میان رکوردهای هم‌امتیاز نباید امتیاز ساختگی بسازد. در فایل همراه امتیازها یکتا هستند تا محاسبه دستی روشن بماند.
از AP تا تصمیم کاربردی
ممکن است دو رتبه‌بندی AP مشابه داشته باشند ولی در ظرفیت بررسی روزانه رفتار متفاوتی نشان دهند. پس از مقایسه رتبه‌بندی، آستانه یا تعداد انتخاب را با هزینه خطا و ظرفیت انسان تعیین کنید. AP را به احتمال درست‌بودن پاسخ، نرخ فروش یا پوشش یک آستانه خاص تبدیل نکنید. این عدد فقط برای همین برچسب و مجموعه آموزشی محاسبه شده است.
کاربرگ و نمونه ثبت
| مورد | نمونه یا قاعده مشخص |
|---|---|
| رتبه اول | امتیاز ۰٫۹؛ مثبت؛ P=1 و R=0.5 |
| رتبه دوم | امتیاز ۰٫۸؛ منفی؛ P=0.5 و R=0.5 |
| رتبه سوم | امتیاز ۰٫۷؛ مثبت؛ P=2/3 و R=1 |
| رتبه چهارم | امتیاز ۰٫۱؛ منفی؛ P=0.5 و R=1 |
| AP | ۵/۶ تقریباً ۰٫۸۳۳۳ |
| دامنه تفسیر | رتبه‌بندی همین چهار رکورد؛ نه انتخاب آستانه نهایی |
دریافت CSV داده و کاربرگ این مثال. داده‌ها آموزشی‌اند؛ برای کاربرد واقعی باید منبع، دامنه و قاعده تصمیم خودتان را ثبت کنید.
مرجع روش
scikit-learn: metrics.average_precision_score. فرایند اجرایی و اعداد مثال برای این راهنما طراحی شده‌اند و نتیجه آزمون هیچ محصولی نیستند.
ادامه مطالعه مرتبط
پس از مقایسه رتبه‌بندی، برای تصمیم یک آستانه هشدار، هشدارهای تحلیل تماس چقدر درست‌اند؟ Precision و Recall با مثال را ببینید.