برایِ بررسیِ رفتارِ یک دسته‌بند در گروه‌ها، یک عددِ کلی کافی نیست. Demographic Parity نرخِ انتخاب را میانِ گروه‌ها مقایسه می‌کند؛ Equalized Odds نرخِ مثبتِ درست و مثبتِ کاذب را مشروط به برچسبِ مرجع می‌سنجد. با دو ضدنمونهٔ عددی می‌بینیم یکی خودکار دیگری را تضمین نمی‌کند. نتیجه، گواهیِ انصاف یا حکمِ حقوقی نیست.
گروه‌ها و مرجع، همگی ساختگی‌اند
دو گروهِ A و B، هرکدام صد ردیف، داریم. برچسبِ مرجع و خروجیِ تصمیم صفر یا یک است. این جدول‌ها دربارهٔ جنسیت، قومیت، استخدام یا مشتریِ واقعی نیستند؛ نویسنده شمارها را برایِ نشان‌دادنِ تفاوتِ مخرج‌ها ساخته است. هیچ مدل یا کتابخانهٔ Fairlearn اجرا نشده است.
نرخِ انتخاب، (TP+FP) تقسیم بر کلِ گروه است. TPR برابرِ TP تقسیم بر (TP+FN) و FPR برابرِ FP تقسیم بر (FP+TN) است. پس اولی به همهٔ ردیف‌ها و دو موردِ بعدی به دو بخشِ متفاوتِ مرجع نگاه می‌کنند. کیفیت و معنیِ برچسبِ مرجع نیز باید جدا بررسی شود.
ضدنمونهٔ اول؛ خطاهایِ شرطی برابر، انتخاب‌ها متفاوت
| گروه | TP | FP | FN | TN | نرخِ انتخاب | TPR / FPR |
|---|---|---|---|---|---|---|
| A | ۴۰ | ۲۰ | ۱۰ | ۳۰ | ۰٫۶ | ۰٫۸ /۰٫۴ |
| B | ۱۶ | ۳۲ | ۴ | ۴۸ | ۰٫۴۸ | ۰٫۸ /۰٫۴ |
TPR و FPR در دو گروه برابرند، اما نرخِ انتخاب ۰٫۱۲ فاصله دارد. نسبتِ مثبت‌هایِ مرجع در A یک‌دوم و در B یک‌پنجم است؛ یکسانیِ نرخ‌هایِ شرطی با این ترکیبِ متفاوت، انتخابِ برابر نمی‌سازد. حتی دقتِ خامِ گروه‌ها اینجا ۰٫۷ و۰٫۶۴ است؛ برابرشدنِ دو نرخ، یکسانیِ همهٔ سنجه‌ها نیست.
ضدنمونهٔ دوم؛ انتخاب‌ها برابر، نرخ‌هایِ شرطی متفاوت
گروه A را همان نگه می‌داریم، اما جدولِ B را به TP=12،FP=48،FN=8،TN=32 تغییر می‌دهیم. نرخِ انتخابِ B برابرِ ۰٫۶ می‌شود، عینِ A. بااین‌حال TPR و FPR آن هر دو ۰٫۶ هستند؛ در A به‌ترتیب ۰٫۸ و۰٫۴ بودند. فاصلهٔ بیشینهٔ دو نرخِ شرطی ۰٫۲ است.
برابریِ نرخِ انتخاب در این جدول نیز کیفیتِ یکسان یا خطایِ برابر نمی‌سازد. این یک جدولِ جایگزینِ دست‌ساز است، نه آزمایشِ تغییرِ تصمیم برایِ افرادِ واقعی. از آن توصیهٔ افزایش یا کاهشِ پذیرشِ گروهی نتیجه نمی‌گیریم.
فاصله‌ها را با تعریفِ صریح حساب کنیم
کد، برایِ هر نرخ اختلافِ بیشترین و کمترینِ گروه را می‌گیرد. برایِ خلاصهٔ Equalized Odds، بزرگ‌ترِ فاصلهٔ TPR و FPR گزارش می‌شود. در ضدنمونهٔ اول فاصلهٔ انتخاب ۳÷۲۵ و فاصلهٔ شرطی صفر است؛ در دومی فاصلهٔ انتخاب صفر و فاصلهٔ شرطی ۱÷۵ است. همهٔ نسبت‌ها با کسرِ دقیق حساب شده‌اند.
اگر یک گروه هیچ مثبتِ مرجع نداشته باشد، TPR قابلِ محاسبه نیست. ضدنمونهٔ سوم همین حالت را واقعاً اجرا می‌کند و None می‌دهد؛ نرخِ ناموجود را صفر نمی‌گذارد تا فاصله ظاهراً کامل شود. صفرِ معتبر، نبودِ داده و تقسیمِ تعریف‌نشده یک معنی ندارند.
سنجه با قضاوتِ کاملِ انصاف یکی نیست
مرجعِ رسمی، دو معیار و فرضِ مناسب‌بودنِ مرجع و گروه‌بندی را توضیح می‌دهد. این تمرین فقط صورت و مخرجِ آن تعریف‌ها را اجرا می‌کند. دربارهٔ آسیبِ واقعی، گروه‌هایِ جاافتاده، خطایِ اندازه‌گیری یا کفایتِ قانونی قضاوت نکرده‌ایم. بازهٔ عدم‌قطعیت هم محاسبه نشده است؛ صد ردیفِ ساختگی شاهدِ پایداربودنِ یک تفاوت نیست.
سوگیریِ پاسخ‌ندادنِ نظرسنجی دربارهٔ ترکیبِ پاسخ‌دهندگان است؛ این صفحه نرخ‌هایِ شرطیِ خروجیِ دسته‌بند را حساب می‌کند. تعریفِ نمونه و پوشش را در هر دو حفظ کنید. برایِ تحلیلِ مکالمه، معیار، دادهٔ مجاز و مسیرِ بازبینی را در بررسیِ اپرابین مطرح کنید؛ این مثال وجودِ آزمونِ انصافِ خاص در محصول را وعده نمی‌دهد.
فایل تمرین و منبع
محاسبهٔ نرخِ انتخاب، TPR و FPR در دو ضدنمونه · چهار جدولِ ساختگی و نرخِ ناموجودِ جدا از صفر
منابع در 2026-11-04 خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.