در مدل‌سازی، مقدار گمشده را با سیاست روشن مدیریت کنید؛ آن را خودکار صفر نکنید. علت غیبت و زمان در دسترس‌بودن مقدار می‌توانند برای تصمیم مهم باشند.
مسئله را درست تعریف کنیم
جایگزینی میانگین یا مقدار پرتکرار هم باید فقط از آموزش یاد گرفته شود. استفاده از کل داده برای پرکردن خانه‌ها می‌تواند اطلاعات آزمون را به آموزش منتقل کند.
روش اجرا
- علت غیبت را تا حد ممکن ثبت کنید.
- روش حذف یا جایگزینی را بر اساس نوع ستون انتخاب کنید.
- اثر روش و نشانگر گمشده را روی مجموعه جدا بسنجید.
نمونه آموزشی
در مثال آموزشی، درآمد اعلام‌نشده با درآمد صفر فرق دارد. ثبت صفر، مشتری فاقد درآمد می‌سازد؛ جایگزینی آماری هم فقط یک تقریب است. بهتر است مقدار اصلی گمشده حفظ و روش تبدیل با نسخه پردازش ثبت شود تا قابل بازسازی باشد.
آزمون تکمیلی برای تصمیم عملی
یک ستون فرضی «زمان رسیدگی» را بررسی کنید. مقدار خالی می‌تواند به معنی پایان‌نیافتن رسیدگی، ثبت‌نشدن داده یا نامربوط‌بودن ستون باشد؛ این علت‌ها را پیش از جایگزینی با یک عدد از هم جدا کنید. مقدار صفر نیز ممکن است معنای واقعی داشته باشد و نباید بی‌دلیل نماینده همه خانه‌های خالی شود. از مسئول داده بپرسید فرایند ثبت چگونه است و برای هر نوع نبود داده، تصمیم و دلیل آن را در کاربرگ بنویسید.
اگر از روشی برای جایگزینی استفاده می‌کنید که مقدارش از داده یاد گرفته می‌شود، آن را در بخش آموزش برآورد و همان روش را روی بخش آزمون اعمال کنید. نمونه‌های فاقد داده را از گزارش نتیجه پنهان نکنید؛ تغییر سهم آن‌ها می‌تواند تفسیر عملکرد را عوض کند. برای هر خروجی، امکان تشخیص ردیف اصلی و نسخه قاعده جایگزینی را نگه دارید. روش جایگزینی را با اعتبارسنجی داخل داده آموزش و معیار مرتبط با وظیفه انتخاب کنید؛ ارزیابی نهایی فقط روی مجموعه آزمون مستقل و دست‌نخورده انجام شود. کامل‌تر و مرتب‌ترشدن ظاهری جدول، معیار کافی برای انتخاب روش نیست.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| ستون | درآمد اعلام‌شده |
| علت غیبت | پاسخ داده نشده، نه درآمد صفر |
| روش جایگزینی | روش جایگزینی طبق نوع ستون |
| مبنای آموزش | آمار فقط از بخش آموزش محاسبه شود |
| نشانگر گمشده | فیلد نشان دهد مقدار اصلی گمشده بوده |
| اثر آزمون | نتیجه روی آزمون جدا ثبت شود |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
این مطلب درباره آماده‌سازی داده آموزش است؛ نمایش نبود داده در گزارش تماس موضوع مقاله جداگانه موجود است.
برای زمینه کاربردی نزدیک، راهنمای مرتبط موجود را هم ببینید؛ این مطلب بر تصمیم فنی متفاوتی تمرکز دارد.
منبع فنی برای مطالعه بیشتر
scikit-learn: impute. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.