وقتی با اعتبارسنجی متقاطع بهترین تنظیم مدل را انتخاب می‌کنید، گزارش همان بهترین نمره به‌عنوان عملکرد نهایی می‌تواند خوش‌بینانه باشد. در اعتبارسنجی متقاطع تودرتو، حلقه درونی تنظیم را انتخاب می‌کند و حلقه بیرونی، کل فرایند انتخاب را روی داده کنارگذاشته‌شده می‌سنجد. مسئله این راهنما سوگیری انتخاب ابرپارامتر است، نه صرفاً جداکردن چند ردیف مشابه.
دو حلقه چه کاری انجام می‌دهند؟
برای هر تقسیم بیرونی، بخش آزمون آن تا پایان انتخاب تنظیم دست‌نخورده می‌ماند. جست‌وجوی تنظیم‌ها فقط داخل بخش آموزش بیرونی و با تقسیم‌های درونی انجام می‌شود. پس از انتخاب، مدل با همان تنظیم روی همه آموزش بیرونی برازش و فقط یک بار روی آزمون بیرونی سنجیده می‌شود. یادگیری پیش‌پردازش نیز باید داخل برازش هر بخش بماند؛ از کل داده قبل از حلقه استفاده نکنید.
برنامه کوچک سه حلقه بیرونی
در تمرین، نه نمونه مستقل را به سه گروه ازپیش‌مشخص G1={۱،۲،۳}، G2={۴،۵،۶} و G3={۷،۸،۹} تقسیم می‌کنیم. در دور بیرونی اول، G1 آزمون است؛ دو نوبت درونی فقط روی G2 و G3 انجام می‌شود: یک بار آموزش G2 و اعتبارسنجی G3 و بار دیگر برعکس. پس از انتخاب تنظیم، برازش نهایی این دور روی G2+G3 و آزمون روی G1 است. دو دور بعد، نقش گروه آزمون را عوض می‌کنند.
تعداد برازش‌ها را از برنامه بخوانید
اگر صرفاً دو گزینه ابرپارامتر داشته باشید، هر دور بیرونی چهار برازش درونی و یک برازش مجدد روی آموزش بیرونی دارد؛ سه دور جمعاً پانزده برازش خواهند داشت. این شمارش برای همین برنامه است، نه زمان اجرا یا توصیه تعداد نمونه. داده نه‌تایی تنها نقشه نقش‌ها را نشان می‌دهد و برای اثبات کیفیت یک مدل کافی نیست. برای داده زمانی یا گروهی، تقسیم متناسب همان ساختار لازم است.
چه چیزی گزارش شود؟
امتیاز هر آزمون بیرونی و روش تجمیع را ثبت کنید. تنظیم منتخب دورهای مختلف ممکن است متفاوت باشد؛ این اتفاق به‌تنهایی خطا نیست. پس از ارزیابی، انتخاب و آموزش مدل نهایی روی کل داده مرحله‌ای جداست و نباید نتیجه تازه را با یک آزمون استفاده‌شده دوباره بی‌طرف معرفی کرد. اگر براساس نمره بیرونی روش را مدام تغییر دهید، استقلال آن نیز کاهش می‌یابد.
| دور بیرونی | آزمون بیرونی ممنوع برای انتخاب | آموزش درونی | اعتبارسنجی درونی | برازش مجدد پس از انتخاب |
|---|---|---|---|---|
| 1 | G1 | G2 | G3 | G2+G3 |
| 1 | G1 | G3 | G2 | G2+G3 |
| 2 | G2 | G1 | G3 | G1+G3 |
| 2 | G2 | G3 | G1 | G1+G3 |
| 3 | G3 | G1 | G2 | G1+G2 |
| 3 | G3 | G2 | G1 | G1+G2 |
کاربرگ این تمرین
نقشه تقسیم درونی و بیرونی شش نوبت درونی این تمرین را نشان می‌دهد. هر ردیف برای هر گزینه تنظیم تکرار می‌شود؛ ستون آخر مجموعه برازش مجدد همان دور است، نه یک برازش اضافی برای هر ردیف.
محدودیت
تودرتو بودن، برچسب غلط، داده غیرنماینده یا تقسیم نامناسب زمانی را رفع نمی‌کند. این تمرین نمره عملکرد یا نتیجه آموزش واقعی ارائه نمی‌دهد.
برای پروژه پاسخ‌گویی، ابتدا هدف و حدود اتصال را در آموزش‌های اپرا مرور کنید و سپس دموی اپرا را ببینید. این متن ادعای ارائه زیرساخت مدل محلی از طرف اپرا ندارد.