ROC-AUCکیفیت ترتیبِ امتیازهای یک مسئلهٔ دسته‌بندی را خلاصه می‌کند. در مثال دودوییِ این صفحه،امتیاز مثبت را با منفی در چهار زوج مقایسه می‌کنیم و به تساوی نیم‌امتیاز می‌دهیم؛سپس همان عدد را از نقاطROCحساب می‌کنیم. هدف،فهم رتبه و تساوی است،نه ساخت یک احتمالِ صحت برای هر پاسخ.
تعریف مثبت و جهت امتیاز لازم‌اند
دو نمونهٔ مثبتP1وP2به‌ترتیب امتیاز۰٫۹و۰٫۶و دو منفیN1وN2امتیاز۰٫۶و۰٫۲دارند. امتیاز بزرگ‌تر را به معنی رتبهٔ بالاتر برای کلاس مثبت در نظر گرفته‌ایم. همهٔ عددها ساختگی‌اند؛مدل یا محصولی این چهار امتیاز را تولید نکرده است.
اگر جهت امتیاز را برعکس تفسیر کنید،نتیجه فرق می‌کند. همچنین امتیاز رتبه‌بندی می‌تواند با احتمالِ کالیبره‌شده متفاوت باشد. تعریف کلاس مثبت و منبع امتیاز را کنار نتیجه ثبت کنید تا تغییر اسم یا جهت،پنهان نماند.
چهار زوج را حساب کنیم
| زوج | امتیاز مثبت | امتیاز منفی | سهم این تمرین |
|---|---|---|---|
| P1/N1 | 0.9 | 0.6 | 1 |
| P1/N2 | 0.9 | 0.2 | 1 |
| P2/N1 | 0.6 | 0.6 | 0.5 |
| P2/N2 | 0.6 | 0.2 | 1 |
جمع امتیاز۳٫۵و تعداد زوج۴است؛پس مقدار تجربیِ این جدول برابر۷/۸یا۰٫۸۷۵می‌شود. تساوی را برد کامل یک طرف نشمرده‌ایم. مرتب‌کردن دلخواهِP2وN1در امتیاز برابر نباید عدد تازه‌ای بسازد.
همان نتیجه از نقاطROC
در آستانهٔ بالاتر از۰٫۹،هیچ نمونه‌ای انتخاب نمی‌شود و نقطه(FPR,TPR)برابر(۰،۰)است. در آستانهٔ۰٫۹نقطه(۰،۰٫۵)،در۰٫۶نقطه(۰٫۵،۱)ودر۰٫۲نقطه(۱،۱)داریم. قرارداد انتخاب،scoreبزرگ‌تر یا مساوی آستانه است. در۰٫۶هر دو نمونهٔ هم‌امتیاز هم‌زمان وارد می‌شوند.
مساحت ذوزنقه‌های اینROCبرابر۰٫۸۷۵است و با حساب زوج‌ها تطبیق دارد. این مساحت برایROCاست؛آن را با قرارداد محاسبهٔAverage Precisionزیر نمودارPrecision–Recallیکی نمی‌گیریم. روشPR/APاز قبل در راهنمای مستقلAP توضیح داده شده است.
۰٫۸۷۵چه چیزی نیست؟
این عدد به معنی «۸۷٫۵درصد پاسخ‌ها درست‌اند»یا «احتمال درست‌بودن پاسخ جاری»نیست. با انتخاب آستانه‌های متفاوت،تعداد مثبت کاذب و منفیِ ازدست‌رفته عوض می‌شود. یک خلاصهٔ رتبه‌بندی جای تصمیم عملیاتی،هزینهٔ خطا یا ظرفیت بازبینی را نمی‌گیرد.
تغییر ترکیب نمونه‌ها یا دامنهٔ مسئله هم مقایسه را تحت تأثیر قرار می‌دهد. برای بررسی دو نسخه،همان ردیف‌ها،برچسب‌های معتبر و تعریف امتیاز لازم‌اند. از چهار زوج ساختگی،برتری یک مدل در جمعیت واقعی نتیجه نمی‌گیریم.
تساوی و جهت را در کد کنترل کنیم
کد باFractionچهار سهم زوج و نقاط آستانه را واقعاً حساب می‌کند. سپس امتیازها را منفی می‌کند؛عددROC-AUCبه۰٫۱۲۵می‌رسد. این تغییر کیفیت واقعی یک مدل نیست؛فقط اثرِ عوض‌شدن جهتِ رتبه در همین مثال است. هیچ کتابخانهٔ مدل یا بنچمارک اجرا نشده است.
برای تمرین،امتیازP2را به۰٫۷تغییر دهید و قبل از اجرا سهم زوج‌ها را بنویسید؛پس از آن بررسی کنید آیا هنوز می‌توانید از نتیجهٔ نسخهٔ قدیمی استفاده کنید. برای ادامهٔ مبانی، صفحهٔ هوش مصنوعی را ببینید. این مثال عددِ کیفیت یا روشِ ارزیابی داخلی اپرا را اعلام نمی‌کند.
فایل تمرین و منبع
چهار زوج مثبت/منفی و نیم‌امتیاز تساوی · کد زوج‌ها،گروه تساوی و مساحتROCهمان چهار امتیاز
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.