سه سؤال، سه نوع میانگین
در طبقه‌بندی چندکلاسه، ابتدا معیار هر کلاس را به‌صورت همان کلاس در برابر بقیه محاسبه می‌کنیم. سپس macro به کلاس‌ها وزن برابر می‌دهد، weighted بر اساس تعداد واقعی هر کلاس وزن می‌دهد و micro شمارش‌های همه کلاس‌ها را یکجا جمع می‌کند. این سه عدد پاسخ یک سؤال واحد نیستند؛ نام روش تجمیع باید کنار هر معیار بیاید.
ماتریس آموزشی را جهت‌دار بخوانید
سطرها واقعیت و ستون‌ها پیش‌بینی A و B و C هستند. سطر A مقدارهای 4،1،0 دارد؛ سطر B مقدارهای 1،1،0 و سطر C مقدارهای 0،1،2 دارد. بنابراین تعداد واقعی کلاس‌ها به‌ترتیب پنج، دو و سه است و جمع ده نمونه داریم. جمع ستون‌ها پنج، سه و دو است. پیش از هر فرمول، این دو جمع را با فهرست رکوردها تطبیق دهید.
محاسبه precision کلاس‌ها
برای A چهار درست از پنج پیش‌بینی A داریم؛ precision آن 4/5 است. برای B یک درست از سه پیش‌بینی B، یعنی 1/3 داریم. برای C دو درست از دو پیش‌بینی C، یعنی یک داریم. Macro precision میانگین ساده این سه است: (0.8+0.3333+1)/3 که حدود 0.7111 می‌شود. تعداد زیاد نمونه A در این میانگین وزن اضافه نمی‌گیرد.
محاسبه micro و weighted
Micro precision برابر مجموع درست‌های قطر تقسیم بر مجموع پیش‌بینی‌هاست: هفت تقسیم بر ده، یعنی 0.7. Weighted precision بر پایه تعداد واقعی کلاس‌ها محاسبه می‌شود: (5×0.8+2×1/3+3×1)/10 که حدود 0.7667 است. بزرگ‌ترشدن این عدد نسبت به macro به معنی بهترشدن مدل نیست؛ فقط روش وزن‌دهی عوض شده است. در این مسئله تک‌برچسبی با همه کلاس‌ها، micro precision با accuracy برابر است؛ این برابری را به حالت چندبرچسبی تعمیم ندهید.
صفر و مقدار تعریف‌نشده
اگر هیچ نمونه‌ای به یک کلاس پیش‌بینی نشود، مخرج precision صفر می‌شود. سیاست کتابخانه برای این حالت و اثر آن بر میانگین را ثبت کنید؛ انتخاب صفر یا حذف از میانگین نتیجه متفاوت می‌سازد. فایل همراه ماتریس و محاسبه‌ها را دارد. این راهنما درباره تجمیع چندکلاسه است؛ تعریف چهار خانه هشدار دودسته‌ای را می‌توان جدا مطالعه کرد.
کاربرگ و نمونه ثبت
| مورد | نمونه یا قاعده مشخص |
|---|---|
| واقعیت A | پیش‌بینی A=4، B=1، C=0 |
| واقعیت B | پیش‌بینی A=1، B=1، C=0 |
| واقعیت C | پیش‌بینی A=0، B=1، C=2 |
| macro precision | ۰٫۷۱۱۱ با وزن برابر کلاس‌ها |
| micro precision | ۷÷۱۰ = ۰٫۷ |
| weighted precision | ۰٫۷۶۶۷ با وزن فراوانی واقعی |
دریافت CSV داده و کاربرگ این مثال. داده‌ها آموزشی‌اند؛ برای کاربرد واقعی باید منبع، دامنه و قاعده تصمیم خودتان را ثبت کنید.
مرجع روش
scikit-learn: metrics.precision_recall_fscore_support. فرایند اجرایی و اعداد مثال برای این راهنما طراحی شده‌اند و نتیجه آزمون هیچ محصولی نیستند.
ادامه مطالعه مرتبط
پیش از محاسبه ماتریس، دسته‌ها باید روشن باشند؛ برای یک نمونه چندموضوعی، یک تماس چند موضوع دارد؛ قواعد برچسب اصلی و فرعی را ببینید.