Brier Score میانگینِ مربعِ اختلافِ احتمالِ پیش‌بینی و نتیجهٔ صفر/یک است. این عدد را می‌توان در قراردادِ مناسب به کالیبراسیونِ تجربی، تفکیکِ گروه‌ها و پراکندگیِ نتیجه تجزیه کرد. برایِ دیدنِ معنایِ سه جزء، ده پیش‌بینیِ ساختگی را دقیق حساب می‌کنیم و نشان می‌دهیم چرا یک عددِ کمتر، به‌تنهایی کالیبراسیونِ بهتر را ثابت نمی‌کند.
ده پیش‌بینی با فقط دو احتمال
پنج احتمالِ نخست ۰٫۲ هستند و فقط یک نتیجهٔ مثبت در آن گروه داریم؛ نرخِ مشاهده‌شدهٔ آن یک‌پنجم است. پنج احتمالِ بعد ۰٫۸ هستند ولی سه نتیجهٔ مثبت دارند؛ نرخِ مشاهده‌شده سه‌پنجم می‌شود. در کل چهار مثبت از ده داریم و نرخِ پایه ۰٫۴ است. همهٔ عددها را تحریریه ساخته است؛ آزمونِ محصول یا مشتری نیستند.
کد، Brier را مستقیم از ده ردیف می‌گیرد و ۱۱/۵۰، یعنی ۰٫۲۲ به دست می‌آورد. گروه‌ها در تجزیهٔ دقیق بر پایهٔ احتمالِ صادرشدهٔ یکسان‌اند؛ در هر گروه همهٔ pها همان مقدارند. این شرط را با binِ پهنی که چند احتمالِ متفاوت در آن است یکی نمی‌گیریم.
سه جزء چه می‌گویند؟
REL میانگینِ وزن‌دارِ مربعِ اختلافِ احتمالِ هر گروه و نرخِ نتیجهٔ همان گروه است. گروهِ ۰٫۲ اختلافِ تجربیِ صفر و گروهِ ۰٫۸ اختلافِ ۰٫۲ دارد؛ با وزنِ نیم برایِ هرکدام، REL برابرِ ۰٫۰۲ است. اینجا کمتر بودنِ REL به برابریِ بیشترِ احتمال و فراوانیِ همین نمونه مربوط است، نه تأییدِ کالیبراسیونِ جمعیت.
RES میانگینِ وزن‌دارِ مربعِ فاصلهٔ نرخِ نتیجهٔ هر گروه از نرخِ پایه است. نرخ‌هایِ ۰٫۲ و۰٫۶ هرکدام ۰٫۲ از پایهٔ ۰٫۴ فاصله دارند، پس RES برابرِ ۰٫۰۴ می‌شود. UNC نیز نرخِ پایه ضرب‌درِ مکملش است: ۰٫۴×۰٫۶ یعنی ۰٫۲۴. این جزء برایِ همین نتایجِ ثابت، میانِ دو پیش‌بینیِ مقایسه‌شده یکسان است.
هویتِ حساب را مستقیم کنترل کنیم
| خروجی | مقدارِ دقیق | اعشار |
|---|---|---|
| REL | ۱/۵۰ | ۰٫۰۲ |
| RES | ۱/۲۵ | ۰٫۰۴ |
| UNC | ۶/۲۵ | ۰٫۲۴ |
| REL−RES+UNC | ۱۱/۵۰ | ۰٫۲۲ |
کد هم این سه جزء و هم مجموعِ خطایِ هر ردیف را مستقل از هم حساب و برابری را کنترل می‌کند. علامتِ منفیِ RES مهم است؛ بزرگ‌ترشدنِ تفکیک می‌تواند امتیازِ کل را کمتر کند، حتی اگر REL صفر نباشد. «تفکیکِ بهتر» در این هویت، تضمینِ کاربرد یا سودِ عملی نیست.
یک امتیازِ کمتر، RELِ بیشتر
برایِ مقایسهٔ آموزشی، به همهٔ ده ردیف احتمالِ ثابتِ ۰٫۴ می‌دهیم؛ همان نرخِ پایهٔ این نمونه را استفاده کرده‌ایم و برازشِ مستقل رویِ دادهٔ دیگر نداریم. در این حالت REL صفر، RES صفر و Brier برابرِ ۰٫۲۴ است. پیش‌بینیِ اصلی Brierِ کمترِ ۰٫۲۲ دارد، ولی RELِ تجربیِ آن ۰٫۰۲ و از صفر بیشتر است.
این ضدنمونه می‌گوید از کاهشِ Brier به‌تنهایی بهبودِ مؤلفهٔ کالیبراسیون را نتیجه نگیریم. خط‌مبنایِ ثابت هم از رویِ همین پاسخ‌ها تعریف شده است؛ کیفیتِ پیش‌بینیِ آینده یا روشِ پیشنهادیِ همیشگی نیست. برایِ تصمیمِ واقعی، دادهٔ نماینده و ارزیابیِ جدا لازم است.
اگر دو احتمال را در یک bin بریزیم چه می‌شود؟
کد عمداً هر ده ردیف را یک گروه می‌گیرد و به‌جایِ احتمالِ یکسان، میانگینِ احتمالِ ۰٫۵ را می‌گذارد. با نرخِ نتیجهٔ ۰٫۴، RELِ درشت ۰٫۰۱ و RES صفر می‌شوند. جمعِ سادهٔ سه جزء ۰٫۲۵ است و با Brierِ اصلیِ ۰٫۲۲ برابر نیست. پس فرمولِ گروهِ احتمالِ یکسان را نباید بی‌اصلاح به این binِ مخلوط تعمیم داد.
این حساب، تجزیهٔ نمونهٔ محدود است؛ برآوردِ بدونِ اریبِ مؤلفه‌هایِ جمعیت، فاصلهٔ اطمینان یا آزمونِ کالیبراسیون اجرا نشده است. در برازشِ کالیبراتور نگاشتِ نمره را تغییر می‌دهیم؛ اینجا فقط امتیازِ احتمالیِ ازپیش‌داده‌شده و قراردادِ تجزیه را بررسی کردیم.
برایِ خواندنِ نمرهٔ یک راهکارِ تحلیلِ تماس، مرجع، جمعیت و نوعِ امتیاز را در درخواستِ بررسیِ اپرابین مشخص کنید. این تمرین روشِ داخلیِ محصول یا احتمالِ درستِ هر پاسخ را اعلام نمی‌کند؛ فایل‌ها همهٔ ده ردیف و هر دو شیوهٔ گروه‌بندی را دارند.
فایل تمرین و منبع
سه جزءِ Brier را با کسرِ دقیق و گروهِ احتمالِ یکسان حساب کنید · Brierِ مستقیم، خط‌مبنایِ ثابت و شکستِ جمعِ ساده در binِ مخلوط
منابع در 2026-11-04 خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.