احتمال نود درصد وقتی قابل تفسیر است که در مجموعه‌های مشابهِ دارای همین امتیاز، تقریباً همان سهم رخداد واقعی دیده شود. اعتماد زبانی مدل معادل احتمال کالیبره نیست.
مسئله را درست تعریف کنیم
مدل می‌تواند رتبه‌بندی خوبی داشته باشد و احتمال‌های اغراق‌آمیز بدهد. بنابراین توان جداکردن دسته‌ها و انطباق احتمال با فراوانی واقعی دو بررسی متفاوت‌اند.
روش اجرا
- خروجی احتمال را همراه نتیجه واقعی ذخیره کنید.
- نمونه‌ها را به بازه‌های احتمال تقسیم و تعداد هر بازه را گزارش کنید.
- میانگین احتمال را با سهم رخداد واقعی همان بازه مقایسه کنید.
نمونه آموزشی
در مثال آموزشی، صد پیش‌بینی نزدیک نود درصد داریم اما فقط شصت رخداد واقعی مشاهده شده است. این گروه بیش‌اطمینان است. با ده نمونه نمی‌توان همان قضاوت محکم را کرد؛ اندازه گروه و تغییر ترکیب داده باید در گزارش دیده شود.
آزمون تکمیلی برای تصمیم عملی
برای تمرین، یک فهرست ساختگی از پیش‌بینی‌ها و نتیجه واقعی همان رخداد تهیه کنید. فقط ردیف‌هایی را وارد مقایسه کنید که تعریف رخداد و فرصت مشاهده نتیجه در آن‌ها یکسان است. اگر هنوز نتیجه بعضی ردیف‌ها معلوم نشده، آن‌ها را به‌عنوان رخداد منفی وارد نکنید. در هر بازه احتمال، تعداد نمونه، میانگین امتیاز و سهم رخداد مشاهده‌شده را کنار هم ببینید؛ یک میانگین کل نمی‌تواند جای وضعیت بازه‌های کم‌نمونه را بگیرد.
اگر پس از تغییر مدل یا ترکیب ورودی‌ها کالیبراسیون را دوباره بررسی می‌کنید، نسخه مدل و بازه زمانی داده را ثبت کنید. تنظیم و ارزیابی را روی همان داده انجام ندهید و نتیجه یک مجموعه محدود را به همه مخاطبان تعمیم ندهید. کالیبراسیون مناسب نیز به‌تنهایی تصمیم تجاری مناسب نمی‌سازد؛ هزینه خطای مثبت و منفی و امکان بازبینی انسانی باید در انتخاب آستانه دیده شوند. در کاربرگ، «احتمال تولیدشده» را از جمله‌ای مانند «من مطمئنم» جدا کنید؛ اعتماد بیان‌شده در متن، شاهد آماری همان احتمال نیست.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| بازه احتمال | گروه امتیازهای نزدیک ۰٫۹ |
| تعداد نمونه | صد نمونه آموزشی در همین بازه |
| میانگین احتمال | میانگین امتیازها را از خود داده بگیرید |
| رخداد واقعی | ۶۰ رخداد واقعی، نه ۹۰ مورد حدسی |
| فراوانی واقعی | ۶۰÷۱۰۰ = ۰٫۶ |
| اختلاف | اختلاف میانگین امتیاز و فراوانی گروه |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
کالیبراسیون روی داده یک دوره، ضمانت دوره بعد نیست؛ تغییر جامعه ورودی می‌تواند رابطه را عوض کند.
منبع فنی برای مطالعه بیشتر
scikit-learn: calibration. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای اینکه امتیاز نامطمئن به ارجاع انسانی تبدیل شود، تحلیل تماس مطمئن نیست؛ چه زمانی نتیجه به انسان ارجاع شود؟ را ببینید.