Concept drift یعنی رابطه ورودی و نتیجه عوض شده است؛ حتی اگر توزیع ظاهری ورودی ثابت بماند. برای تشخیص آن معمولاً به نتیجه واقعی و بازخورد معتبر نیاز دارید.
مسئله را درست تعریف کنیم
تغییر رفتار مشتری یا سیاست کسب‌وکار می‌تواند برچسب درستِ یک متن مشابه را عوض کند. پایش تعداد واژه‌ها این تغییر رابطه را لزوماً آشکار نمی‌کند.
روش اجرا
- نتیجه واقعی را با تأخیر معلوم به پیش‌بینی وصل کنید.
- خطا را در بازه‌ها و گروه‌های مشابه مقایسه کنید.
- تغییر سیاست برچسب‌گذاری را از تغییر واقعی رفتار تفکیک کنید.
نمونه آموزشی
در مثال آموزشی، یک عبارت قبلاً درخواست عادی بوده اما پس از تغییر فرایند، نشانه لغو قریب‌الوقوع شده است. متن‌ها شبیه‌اند و معنای عملی‌شان عوض شده؛ ارزیابی تازه با برچسب قدیمی این تغییر را به‌درستی نشان نمی‌دهد.
آزمون تکمیلی برای تصمیم عملی
یک سناریوی آموزشی را در نظر بگیرید که در آن تعریف اولویت رسیدگی تغییر کرده است. متن درخواست‌ها ممکن است شبیه گذشته باشد، اما برچسب معتبر طبق سیاست تازه تفاوت کند. برای بررسی، ابتدا نسخه سیاست، زمان اجرای آن و روش تهیه برچسب را ثبت کنید. اگر برچسب‌ها از دو قاعده متفاوت آمده باشند، مقایسه خام خطا می‌تواند گمراه‌کننده باشد. ثابت‌بودن ظاهر ورودی نیز دلیل ثابت‌بودن رابطه مورد پیش‌بینی نیست.
در نمونه‌های شکست، ورودی، تصمیم مدل و نتیجه معتبر همان زمان را کنار هم قرار دهید. بررسی کنید افت از تغییر رابطه آمده، از خرابی جمع‌آوری داده است یا از اشتباه برچسب‌گذاری. تصمیم اصلاح باید به شاهد وصل باشد؛ افزایش داده یا آموزش مجدد، پاسخ خودکار همه این حالت‌ها نیست. پس از تغییر، مجموعه مرجع قدیمی را برای شناخت اثر نگه دارید و ارزیابی با تعریف جدید را جدا گزارش کنید. اگر نتیجه واقعی هنوز معلوم نیست، نبود برچسب را با خطای صفر یا موفقیت مدل جایگزین نکنید؛ دامنه نامعلوم باید در گزارش باقی بماند.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| زمان پیش‌بینی | زمانی که مدل تصمیم داده |
| نسخه مدل | نسخه ثابت برای مقایسه |
| نتیجه واقعی | برچسب معتبر با تأخیر معلوم |
| نسخه سیاست | آیا تعریف نیت یا سیاست عوض شده؟ |
| گروه | ورودی‌های مشابه را کنار هم ببینید |
| نوع تغییر رابطه | تغییر رابطه از خرابی برچسب جدا شود |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
افت معیار می‌تواند از کیفیت برچسب یا تغییر نمونه‌گیری هم باشد؛ پیش از نتیجه‌گیری درباره drift این عوامل را کنترل کنید.
منبع فنی برای مطالعه بیشتر
scikit-learn: model_evaluation. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
اگر تغییر معیار ناشی از تغییر تعریف برچسب یا فرم است، وقتی فرم ارزیابی تماس عوض می‌شود، روند امتیازها را چطور مقایسه کنیم؟ را ببینید.