چرا پروتکل تعویض لازم است؟
داده تازه می‌تواند زبان، سناریو یا شرایطی داشته باشد که در آزمون قدیمی کم بوده است. اضافه‌کردن آن لازم است، اما اگر هم‌زمان مدل و مجموعه آزمون عوض شوند، تغییر معیار دو علت دارد. پروتکل پیشنهادی این صفحه، بخش ثابت برای پیگیری و بخش چرخشی برای شرایط تازه را جدا نگه می‌دارد. این یک روش طراحی ارزیابی است، نه استاندارد اجباری یا تضمین حفظ دقت.
قانون ورود و خروج را ثبت کنید
پیش از دیدن نتیجه مدل، علت افزودن گروه تازه، شیوه نمونه‌گیری، تعریف برچسب و مسئول تأیید را بنویسید. برای خروج نمونه هم علت مجاز داشته باشید؛ شکست‌خوردن مدل دلیل حذف آزمون نیست. بخش ثابت می‌تواند تا زمان تعویض برنامه‌ریزی‌شده باقی بماند و بخش چرخشی به‌صورت نسخه جدید وارد شود. تعداد و ترکیب هر پنل باید کنار نتیجه بیاید.
پل چهارخانه نسخه‌ها
در دوره انتقال، مدل قدیم و جدید را هم روی پنل ثابت و هم روی پنل تازه اجرا کنید. فرض آموزشی: مدل قدیم روی ثابت ۸ از ۱۰ و مدل جدید ۹ از ۱۰ درست دارد؛ روی تازه، قدیم ۴ از ۱۰ و جدید ۵ از ۱۰ درست دارد. مقایسه ۸ قدیمی با ۵ جدید ممکن است افت مدل به نظر برسد، در حالی که روی هر پنل یک مورد بیشتر درست شده است. این نمونه کوچک برتری آماری ثابت نمی‌کند، اما اختلاط اثر مدل و نمونه را آشکار می‌سازد.
روند را چگونه گزارش کنیم؟
نمودار پنل ثابت را با همان تعریف ادامه دهید و در مرز نسخه آزمون علامت بگذارید. نتیجه پنل چرخشی را جدا بیاورید تا تفاوت سختی و ترکیب پنهان نماند. فقط اگر وزن‌دهی دامنه هدف از قبل تعریف شده، عدد ترکیبی بسازید؛ جمع‌کردن ساده دو پنل با اندازه متفاوت ممکن است هدف سنجش را عوض کند. نسخه جدید آزمون را به فهرست شناسه‌های ورودی و نسخه برچسب وصل کنید.
پس از بازنشستگی پنل
برای پنل بازنشسته، میزان افشا، دلیل جایگزینی و امکان مقایسه تاریخی را نگه دارید. از آن می‌توان برای یادگیری توسعه استفاده کرد، اما نتیجه‌اش دیگر نقش آزمون نهایی دست‌نخورده را ندارد. دسترسی به پاسخ مرجع پنل جدید باید محدود بماند. این پروتکل با جلوگیری از نشت داده مرتبط است، ولی سؤال اصلی‌اش مدیریت تغییر جامعه آزمون و حفظ پل گزارش است.
کاربرگ و نمونه ثبت
| مورد | نمونه یا قاعده مشخص |
|---|---|
| ثابت، مدل قدیم | ۸ پاسخ درست از ۱۰ |
| ثابت، مدل جدید | ۹ پاسخ درست از ۱۰ |
| تازه، مدل قدیم | ۴ پاسخ درست از ۱۰ |
| تازه، مدل جدید | ۵ پاسخ درست از ۱۰ |
| مقایسه معتبر | هر دو مدل داخل یک پنل |
| مقایسه گمراه‌کننده | ۸ از پنل قدیم در برابر ۵ از پنل تازه |
دریافت CSV داده و کاربرگ این مثال. داده‌ها آموزشی‌اند؛ برای کاربرد واقعی باید منبع، دامنه و قاعده تصمیم خودتان را ثبت کنید.
مرجع روش
Google Developers: Rules of Machine Learning. فرایند اجرایی و اعداد مثال برای این راهنما طراحی شده‌اند و نتیجه آزمون هیچ محصولی نیستند.
ادامه مطالعه مرتبط
برای اثر تغییر نسخه فرم بر مقایسه روند، وقتی فرم ارزیابی تماس عوض می‌شود، روند امتیازها را چطور مقایسه کنیم؟ را ببینید.