پایش drift ورودی یعنی بررسی تغییر توزیع داده‌ای که مدل می‌بیند. این تغییر زنگ بررسی است و به‌تنهایی ثابت نمی‌کند دقت مدل افت کرده است.
مسئله را درست تعریف کنیم
تغییر سهم زبان، طول متن یا دسته مشتری ممکن است از فصل، کمپین یا اشکال جمع‌آوری بیاید. تشخیص علت، بدون نمونه‌خوانی و نتیجه واقعی ناقص می‌ماند.
روش اجرا
- دوره مرجع و پنجره پایش را با اندازه کافی تعیین کنید.
- ویژگی‌های مهم و کیفیت ورود را جدا پایش کنید.
- هشدار را با نمونه و ارزیابی نتیجه واقعی پیگیری کنید.
نمونه آموزشی
در نمونه آموزشی، سهم پیام‌های بسیار کوتاه افزایش یافته است. ممکن است رابط جدید متن را قطع کند یا کاربران واقعاً کوتاه‌تر بنویسند. تعویض مدل پیش از بررسی جمع‌آوری داده می‌تواند مسئله اصلی را پنهان کند.
آزمون تکمیلی برای تصمیم عملی
برای بررسی عملی، یک بازه مرجع و یک بازه تازه با تعریف یکسان ورودی انتخاب کنید. ابتدا یکسان‌بودن روش استخراج، واحدها و قواعد پاک‌سازی را کنترل کنید؛ تغییر قالب داده نباید فوراً به تغییر رفتار کاربران نسبت داده شود. سپس ویژگی‌هایی را که برای کاربرد مهم‌اند جدا بررسی کنید، مانند طول پیام یا نوع درخواست. در گزارش، تعداد مشاهده هر گروه را بنویسید و گروه کوچک را با قطعیت مشابه مجموعه بزرگ تفسیر نکنید.
اگر تغییری دیده شد، چند نمونه واقعیِ مجاز از همان گروه را بخوانید و علت‌های ممکن را با صاحب فرایند مرور کنید. تغییر کمپین، فصل، رابط یا خرابی ابزار جمع‌آوری می‌توانند به بررسی‌های متفاوت نیاز داشته باشند. وجود تغییر در توزیع ورودی، به‌تنهایی افت کیفیت پاسخ یا ضرورت آموزش دوباره مدل را اثبات نمی‌کند؛ برای آن باید خروجی و نتیجه معتبر را نیز سنجید. در کاربرگ، هشدار، شاهد، فرضیه علت و تصمیم بعدی را جدا ثبت کنید تا نمودار تغییر به اقدام خودکار بدون بررسی تبدیل نشود.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| ویژگی | طول متن ورودی |
| دوره مرجع | بازه مرجع با تعریف ثابت |
| پنجره تازه | پنجره تازه و تعداد نمونه آن |
| نوع تغییر | افزایش متن بسیار کوتاه |
| علت بررسی‌شده | رابط متن را قطع می‌کند یا رفتار عوض شده؟ |
| اقدام | اول جمع‌آوری را بررسی کنید، سپس مدل |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
آستانه هشدار باید به حجم نمونه و نوسان عادی حساس باشد؛ هر تغییر کوچک نیازمند آموزش دوباره نیست.
منبع فنی برای مطالعه بیشتر
scikit-learn: model_evaluation. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای تفکیک تغییر ورودی از خطای ثبت و ارزیابی، کاتالوگ خطاهای تحلیل تماس؛ هر اختلاف را خطای هوش مصنوعی ننامیم را ببینید.