ارزیابی برشی یعنی معیار را برای گروه‌های معنادار داده جدا ببینید. میانگین مناسب ممکن است ضعف گروه کوچک ولی مهم را پنهان کند.
مسئله را درست تعریف کنیم
برش می‌تواند زبان، نوع ورودی، طول متن یا دسته مسئله باشد. انتخاب آن باید از خطر و کاربرد بیاید، نه فقط گروهی که نتیجه خوبی نشان می‌دهد.
روش اجرا
- برش‌ها را پیش از مقایسه تعریف کنید.
- برای هر برش تعداد نمونه و معیار مرتبط ثبت کنید.
- موارد شکست را بخوانید و به میانگین کل برنگردانید.
نمونه آموزشی
در مثال آموزشی، مدل روی پیام‌های بلند خوب است ولی روی پیام‌های یک‌جمله‌ای مبهم خطا دارد. چون پیام‌های بلند بیشترند، میانگین افت را نشان نمی‌دهد. گزارش جدا مشخص می‌کند برای ورودی کوتاه سؤال روشن‌کننده لازم است یا داده بیشتری می‌خواهیم.
آزمون تکمیلی برای تصمیم عملی
در یک تمرین آموزشی، ورودی‌ها را با قاعده از پیش نوشته‌شده به کوتاه و بلند تقسیم کنید. سپس برای هر گروه، تعداد نمونه و همان معیار کیفیت را گزارش کنید. اگر گروه کوتاه کوچک است، یک یا دو شکست ممکن است برداشت را زیاد تغییر دهد؛ نتیجه را همراه شمار نمونه و نمونه‌های خطا بخوانید. پس از دیدن خروجی، مرز گروه را فقط برای بهترشدن عدد جابه‌جا نکنید. اگر مرز با دلیل کاربردی تغییر می‌کند، نسخه جدید تعریف و مقایسه جدا لازم است.
برش‌ها ممکن است با هم هم‌پوشانی داشته باشند؛ مثلاً یک ورودی هم کوتاه و هم دارای غلط تایپی باشد. در گزارش روشن کنید یک نمونه در چند گروه آمده یا فقط در یک دسته شمرده شده است. افت یک گروه را به میانگین کل برنگردانید؛ تصمیم اصلاح باید به نوع شکست همان گروه وصل باشد. در عین حال، از برش بسیار کم‌نمونه حکم قطعی درباره همه کاربران نسازید. هدف، یافتن نقطه نیازمند بررسی است، نه انتخاب گروه‌هایی که فقط نتیجه مطلوب را نمایش می‌دهند.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| برش | ورودی کوتاه در برابر بلند |
| تعریف عضویت | قاعده طول را قبل از نتیجه تعیین کنید |
| تعداد | تعداد هر برش در گزارش بیاید |
| معیار | همان معیار با تعریف ثابت |
| نوع شکست | ابهام یک‌جمله‌ای یا حذف فیلد؟ |
| اقدام بررسی | برای گروه کم‌نمونه نتیجه قطعی نسازید |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
گروه بسیار کوچک نتیجه ناپایدار می‌دهد و ممکن است خطر شناسایی افراد داشته باشد؛ تعداد و حریم داده را کنترل کنید.
منبع فنی برای مطالعه بیشتر
scikit-learn: model_evaluation. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
اگر هدف جمع‌آوری داده نماینده است، پیش از تحلیل برش‌ها، نمونه‌گیری تماس برای کنترل کیفیت؛ تماس‌های آسان را بیش‌ازحد نبینیم را ببینید.