برایِ مقایسهٔ دو مدل رویِ همان نمونه‌ها، فقط دو درصدِ دقت را کنارِ هم نگذارید. آزمونِ McNemar به جهتِ اختلافِ درست/غلط در همان زوج‌ها نگاه می‌کند. اینجا جدول را از بیست زوجِ پیش‌بینیِ کاملاً دست‌ساز می‌سازیم و نسخهٔ دقیقِ دوجمله‌ای را واقعاً محاسبه می‌کنیم؛ هیچ مدلِ واقعی اجرا نشده است.
چهار حالتِ هر زوج
برایِ هر شناسهٔ P1 تا P20، مرجع و دو پیش‌بینیِ A وB را داریم. هر دو مدل باید همان ورودی و همان مرجع را دیده باشند؛ در این تمرین، نویسنده همهٔ خروجی‌ها را ساخته است. کد برابریِ پیش‌بینی با مرجع را ردیف‌به‌ردیف حساب می‌کند و چهار خانه را می‌شمارد.
| وضعیتِ A | وضعیتِ B | تعداد |
|---|---|---|
| درست | درست | ۱۰ |
| غلط | درست | ۷ |
| درست | غلط | ۱ |
| غلط | غلط | ۲ |
A یازده پاسخِ درست از بیست و B هفده از بیست دارد؛ اختلافِ مشاهده‌شده ۰٫۳ است. اما برایِ حسابِ شرطیِ آزمون، هشت زوجِ ناهمخوان، یعنی هفت در برابرِ یک، نقش دارند. دوازده زوجِ همخوان را به‌جایِ شاهدِ جهتِ اختلاف اضافه نمی‌کنیم.
فرضِ صفرِ حسابِ دقیق چیست؟
با فرض‌هایِ مناسبِ نمونه‌گیری و استقلالِ زوج‌ها، تحتِ فرضِ صفر جهتِ ناهمخوانی احتمالِ یک‌دوم دارد. شرط بر تعدادِ هشت اختلاف، شمارِ یک جهت توزیعِ دوجمله‌ای با n=8 وp=0.5 دارد. این احتمال، نمرهٔ اطمینانِ خودِ مدل نیست؛ از قراردادِ آزمون آمده است.
برایِ نسخهٔ دوطرفهٔ این صفحه، احتمالِ دیدنِ صفر یا یک در دُمِ کوچک‌تر را می‌گیریم، دو برابر می‌کنیم و حداکثر به یک محدود می‌کنیم. مقدارِ دقیق برابرِ ۲×(۱+۸)÷۲۵۶، یعنی ۹÷۱۲۸ یا ۰٫۰۷۰۳۱۲۵ است. کد آن را با کسرِ دقیق می‌سازد؛ جدولِ چاپ‌شده جایِ اجرایِ تابع را نگرفته است.
نتیجه را چگونه بخوانیم؟
اگر سطحِ ۰٫۰۵ را پیشاپیش انتخاب کرده باشیم، همین p در آن قاعده باعثِ ردِ فرضِ صفر نمی‌شود. این نتیجه، برابریِ قطعیِ دو مدل را ثابت نمی‌کند و اختلافِ مشاهده‌شدهٔ سی واحدِ درصد را هم صفر نمی‌سازد. p احتمالِ درست‌بودنِ فرضِ صفر یا احتمالِ بهترنبودنِ B نیست؛ با توزیعِ آزمون و دادهٔ مشاهده‌شده تعریف شده است.
اندازه و اهمیتِ اختلاف، تعدادِ نمونه و هدفِ عملی باید جدا گزارش شوند. انتخابِ سطح یا جابه‌جاییِ روشِ آزمون بعد از دیدنِ عدد، همان تصمیمِ ازپیش‌تعیین‌شده نیست. این مثال، توانِ آزمون یا بازهٔ اطمینانِ اختلاف را محاسبه نکرده است.
وابستگیِ بینِ زوج‌ها را پنهان نکنیم
اگر چند ردیف از یک مشتری یا گفت‌وگویِ مشترک آمده باشند، استقلالِ زوج‌ها خودکار برقرار نیست. بیست ردیف لزوماً بیست واحدِ مستقل نیستند. باید طرحِ نمونه‌گیری، خوشه و روشِ مناسبِ سنجش مشخص شود. فایلِ ساختگیِ این تمرین، چنین استقلالی را برایِ دادهٔ واقعی اثبات نمی‌کند.
تعویضِ نامِ A وB، p دوطرفه را عوض نمی‌کند؛ کد این تقارن را کنترل کرده است. در حالتِ بدونِ ناهمخوانی و در حالتِ چهار در برابرِ چهار نیز p برابرِ یک می‌دهد. این حالت‌ها شاهدِ نبودِ اختلاف در همین قراردادند و گواهِ برابریِ همهٔ رفتارهایِ سامانه نیستند.
بعد از جدولِ زوجی چه چیزی اضافه شد؟
مقایسهٔ زوجیِ دو نسخه طراحیِ ورودی و چهار حالت را توضیح می‌دهد؛ این صفحه حسابِ شرطیِ آزمونِ دقیق و فرض‌هایش را اضافه کرده است. برایِ دادهٔ گروهی، بازنمونه‌گیریِ گروهی هدفِ دیگری دارد و جایگزینیِ بی‌بررسیِ روش‌ها درست نیست.
برایِ ارزیابیِ تحلیلِ مکالمه، تعریفِ مرجع و واحدِ مستقل را در بررسیِ اپرابین مطرح کنید. عددهایِ این تمرین، نتیجهٔ مشتری یا تأییدِ وجودِ آزمونِ آماریِ مشخص در محصول نیستند.
فایل تمرین و منبع
جدولِ جفتی و p دقیقِ دوجمله‌ایِ دوطرفه · بیست زوجِ دست‌ساز، هشت اختلاف و جمله‌هایِ دقیقِ دُم
- مستند اصلی؛ نسخهٔ دقیقِ دوجمله‌ای و فرضِ برابریِ حاشیه‌ها
- کدِ منبعِ رسمی؛ تابعِ mcnemar و دوبرابرکردنِ دُمِ کوچک با سقفِ یک؛ کتابخانه اجرا نشده است
منابع در 2026-11-04 خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.