داده پرت را ابتدا از نظر منشأ بررسی کنید: خطای ثبت، واحد متفاوت یا رخداد واقعی نادر. حذف صرفاً به‌دلیل دوربودن از میانگین می‌تواند مهم‌ترین نمونه‌ها را کنار بزند.
مسئله را درست تعریف کنیم
پرت‌بودن یک نشانه آماری است، نه حکم نادرستی. در مسئله کشف رویداد نادر، همان نقطه دورافتاده ممکن است موضوع اصلی پروژه باشد.
روش اجرا
- دامنه مجاز و واحد ستون را با مالک داده کنترل کنید.
- نمونه پرت را به منبع ثبت برگردانید.
- سیاست اصلاح، نگهداری یا حذف را با دلیل و اثر آزمون ثبت کنید.
نمونه آموزشی
در مثال آموزشی، زمان یک کار سه هزار و ششصد ثبت شده و بقیه حدود شصت هستند. شاید آن ردیف ثانیه و بقیه دقیقه باشند؛ شاید هم واقعاً طولانی باشد. پیش از برچسب خطا، واحد و رویداد اصلی را بررسی کنید.
آزمون تکمیلی برای تصمیم عملی
برای تمرین، سه ردیف نامعمولِ ساختگی در نظر بگیرید: مبلغی با واحد متفاوت، رکورد تکراری و یک خرید واقعی اما نادر. ظاهر عددی هر سه ممکن است دور از بقیه باشد، ولی تصمیم مناسب یکسان نیست. ابتدا شاهد منبع و واحد را کنترل کنید، سپس مشخص کنید اصلاح، حذف رکورد خطادار یا نگه‌داشتن رخداد واقعی لازم است. اگر منبع قابل بررسی نیست، وضعیت نامعلوم را حفظ کنید؛ عدد دور از میانگین خودبه‌خود جعلی نیست.
قواعد انتخاب و تصمیم درباره نمونه‌ها را همراه نسخه داده ثبت کنید. اگر قاعده آماری از داده یاد گرفته می‌شود، آن را بدون استفاده از بخش آزمون تعیین کنید. اثر تصمیم را فقط با یک میانگین کل نسنجید؛ بررسی کنید نمونه‌های نادر ولی مرتبط با کاربرد حذف نشده باشند. در کاربرگ، دلیل اقدام و شناسه ردیف اولیه را نگه دارید تا امکان بازبینی باقی بماند. این مثال آموزشی فرمول حذف عمومی ارائه نمی‌کند؛ مرز قابل قبول باید از معنای متغیر، کیفیت منبع و هدف همان مسئله بیاید.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| شناسه رکورد | رکورد مصنوعی با زمان ۳۶۰۰ |
| مقدار | اصل عدد را پیش از اصلاح نگه دارید |
| واحد | ثانیه است یا دقیقه؟ |
| علت محتمل | تغییر واحد را از رخداد نادر جدا کنید |
| شاهد منبع | به رویداد ثبت اصلی برگردید |
| تصمیم | اصلاح / نگهداری / حذف با دلیل مستند |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
آستانه تشخیص پرت باید روی داده آموزش تعیین شود؛ نگاه به آزمون برای تنظیم حذف می‌تواند ارزیابی را آلوده کند.
منبع فنی برای مطالعه بیشتر
scikit-learn: model_evaluation. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای تفکیک خطای داده از خطای تحلیل در گزارش، کاتالوگ خطاهای تحلیل تماس؛ هر اختلاف را خطای هوش مصنوعی ننامیم را ببینید.