اطلاعاتِ متقابل و نسخهٔ شرطیِ آن دو پرسشِ متفاوت‌اند. ممکن است X وY به‌تنهایی مستقل باشند،اما پس از دانستنِ Z،یکی دربارهٔ دیگری اطلاعات بدهد. این تمرین از یک جدولِ کاملِ ساختگی شروع می‌کند؛ هیچ جمعیتِ واقعی،مدلِ آموزش‌دیده یا علتِ پنهان از داده تخمین زده نمی‌شود.
چهار حالتِ هم‌احتمالِ XOR
X وZ دو بیتِ مستقلِ هم‌احتمال‌اند وY=X XOR Z تعریف می‌شود. جدولِ (X,Y,Z) چهار ردیفِ (۰،۰،۰)،(۰،۱،۱)،(۱،۱،۰) و(۱،۰،۱) دارد؛ هر ردیف۱/۴احتمال دارد. این توزیع را خودمان کامل تعریف کرده‌ایم،نه اینکه چهار مشاهده را برایِ اثباتِ استقلالِ جمعیت کافی بدانیم.
اگر فقط X وY را ببینیم،هر جفتِ دوبیتی احتمالِ ۱/۴ دارد و حاشیهٔ هر متغیر۱/۲ است. نسبتِ احتمالِ مشترک به حاصل‌ضربِ حاشیه‌ها یک می‌شود؛ جمعِ p×log₂(ratio)،اطلاعاتِ متقابلِ صفر بیت می‌دهد.
واحد را پیش از عدد مشخص کنیم
در این فایل log₂ به کار می‌رود و واحد بیت است. مستندِ mutual_info_score در scikit-learn از لگاریتمِ طبیعی وواحدِ nat استفاده می‌کند؛ عددِ یکِ بیت را بدونِ تبدیل با خروجیِ آن API مقایسه نمی‌کنیم. خودِ کتابخانه در تمرین اجرا نشده است.
احتمال‌هایِ جدول و نسبت‌ها Fraction هستند،اما لگاریتم با math.log2 ممیزشناور حساب می‌شود. oracleهایِ عددی با تلورانسِ ۱e−۱۲ مقایسه می‌شوند؛ همهٔ خروجی‌هایِ لگاریتمی را کسرِ دقیق یا برابریِ بیتی نمی‌نامیم.
با دانستنِ Z چه چیزی عوض می‌شود؟
اگر Z=۰ باشد،Y=X است؛ اگر Z=۱ باشد،Y برعکسِ X است. در هر دو برش،دانستنِ X،Y را تعیین می‌کند و اطلاعاتِ متقابلِ آن برش یک بیت است. میانگینِ وزنیِ دو برش با وزنِ ۱/۲،I(X;Y|Z)=۱بیت می‌دهد.
همچنین I((X,Z);Y)=۱ وI(Z;Y)=۰ است. پس قاعدهٔ زنجیره،اختلافِ این دو را برابرِ همان اطلاعاتِ شرطی می‌دهد. صفرِ I(X;Y) در جدولِ کاملِ این مثال،مجوزِ حذفِ نقشِ Z یا حکمِ صفرِ اطلاعاتِ مشترکِ دو ورودی نیست.
چهار مسیرِ محاسبه را کنارِ هم بگذاریم
مسیرِ نخست،نسبتِ جرمِ مشترک به حاصل‌ضربِ حاشیه‌هاست. oracleِ آنتروپی،H(X)+H(Y)−H(X,Y) را برای MI وH(X,Z)+H(Y,Z)−H(Z)−H(X,Y,Z) را برای CMI حساب می‌کند.
میانگینِ برش‌هایِ شرطی،قاعدهٔ زنجیره و جمعِ مستقیمِ نسبتِ شرطیِ جدول هم جدا اجرا می‌شوند و با هم برابرند. در یک برشِ اعلام‌شدهٔ Z=۲ که جرمِ صفر دارد،توزیعِ شرطی تعریف نمی‌کنیم؛ وضعیتِ skipped ثبت می‌شود،نه تقسیمِ صفر یا لگاریتمِ ساختگی.
تغییرِ نامِ دسته‌ها و وابستگیِ غیرخطی
تمامِ هشت بازنام‌گذاریِ صفر ویک در سه متغیر،همان MIِ صفر وCMIِ یک را می‌دهند. یک جدولِ کاملِ مستقلِ سه‌بیتی نیز CMIِ صفر دارد. در نمونهٔ جداگانهٔ Xهایِ−۱،صفر ویک باY=X²،اطلاعاتِ متقابل حدود۰٫۹۱۸۲۹۵۸بیت است،درحالی‌که کوواریانسِ معمولی و کوواریانسِ رتبه‌هایِ دارایِ تساوی صفرند.
این نمونهٔ دوم مکملِ حدودِ اسپیرمن است؛ خروجیِ مستقلِ اصلیِ این صفحه،محاسبهٔ شرطیِ XOR و چهار oracle است. هیچ p-value یا آزمونِ استقلالِ جمعیت اجرا نشده و شرطی‌کردن به‌تنهایی استدلالِ علّی نمی‌سازد؛ فرضِ نمودارِ علّی را جدا بخوانید.
شمارشِ منفی،بولین،غیرصحیح،جدولِ خالی،جمعِ صفر،شکلِ نادرست و حاشیه‌هایِ با جمعِ ناسازگار در هفت آزمون رد می‌شوند. دامنهٔ محلی جدولِ سه‌متغیرهٔ حداکثر۱۶ردیف و کلِ ۱تا۱۰۰واحد است. ادامه در مبانی هوش مصنوعی؛ این مقدارها رتبه‌بندیِ ویژگیِ واقعی،نتیجهٔ مشتری یا معماریِ محصولِ اپرا نیستند.
فایل تمرین و منبع
کد مستقلِ تمرین و کنترل‌ها؛ Python · تمامِ ورودی‌ها و نتیجهٔ اجرای واقعیِ تمرین؛ JSON
- مستندات رسمی scikit-learn۱٫۹٫۱؛ تعریفِ نسبتِ شمارش،تقارن،بازنام‌گذاری و واحدِ nat خوانده شد؛ کتابخانه اجرا نشده است
- درسِ اصلی Cornell ECE5630،۱۰مارس۲۰۲۰؛ تعریف۱۱٫۱ و قاعدهٔ زنجیره خوانده شد؛ سطرِ ظاهراً تایپیِ Remark۱۱٫۱ عیناً اقتباس نشده و هویتِ آنتروپی مستقل کنترل شده است
منابع در 2026-11-04 خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.