وقتی خوشه‌بندی را چند بار اجرا می‌کنید، تغییر شماره برچسب‌ها لزوماً به معنی تغییر گروه‌ها نیست. برای سنجش پایداری باید عضویت همان نمونه‌ها را مقایسه کنید، نه برابر بودن عدد نام گروه. Adjusted Rand Index یا ARI یکی از سنجه‌های مقایسه دو تقسیم‌بندی با درنظرگرفتن توافق تصادفی است.
نمونه‌ها را هم‌ردیف نگه دارید
هر ردیف باید در هر دو اجرا به همان شناسه داده مربوط باشد. سپس نام مدل، ویژگی‌ها، تعداد خوشه، پارامترها و بذر تصادفی را ثبت کنید. اگر ورودی تغییر کرده، نتیجه مقایسه فقط پایداری در برابر همان تغییر مشخص است، نه تکرار ساده. جابه‌جایی ترتیب ردیف‌ها بدون هم‌ترازکردن شناسه‌ها، امتیاز بی‌معنی می‌سازد.
مثال کوچک و قابل محاسبه
چهار نمونه a، b، c و d در اجرای اول برچسب‌های ۰، ۰، ۱، ۱ دارند. اجرای دوم برای همین ترتیب، ۷، ۷، ۲، ۲ می‌دهد؛ گروه‌ها همان‌اند، پس ARI برابر ۱ است. اکنون اجرای سوم را ۰، ۱، ۰، ۱ بگیرید. دو تقسیم اول و سوم، توافق عضویت متفاوت دارند و ARI این نمونه منفی ۰٫۵ است. این اعداد از همین آرایه‌های آموزشی می‌آیند، نه از بنچمارک یک محصول.
چرا پایداری با درستی فرق دارد؟
دو اجرا ممکن است پایدار باشند اما دسته‌بندی مفیدی برای کار شما ندهند. ARI میان اجراها، صحت معنایی گروه یا مناسب‌بودن تعداد خوشه را ثابت نمی‌کند. چند بذر یا تغییر کنترل‌شده را آزمایش کنید، امتیازهای زوجی را نگه دارید و نمونه‌های گروه‌ها را بخوانید. میانگین تنها می‌تواند اختلاف‌های بزرگ بعضی زوج‌ها را پنهان کند؛ دامنه نتیجه را نیز نشان دهید.
گزارش قابل تفسیر بسازید
در کاربرگ، برچسب هر اجرای همین چهار شناسه آمده است. نام برچسب را بی‌دلیل به موضوع دائمی تبدیل نکنید. برای داده خودتان، شناسه‌ها و تنظیمات را جایگزین کنید و ARI را با ابزار معتبر روی آرایه‌های هم‌ردیف محاسبه کنید. امتیاز نزدیک صفر به معنی توافقی در حدود انتظار تصادفی در تعریف سنجه است؛ درصد دقت طبقه‌بندی نیست.
| شناسه نمونه | برچسب اجرای اول | برچسب اجرای دوم با نام تازه | برچسب اجرای سوم با عضویت متفاوت |
|---|---|---|---|
| a | 0 | 7 | 0 |
| b | 0 | 7 | 1 |
| c | 1 | 2 | 0 |
| d | 1 | 2 | 1 |
کاربرگ این تمرین
فایل برچسب‌های سه اجرای آموزشی چهار شناسه و برچسب‌های هر سه اجرا را دارد. این آرایه‌ها نمونه محاسباتی‌اند؛ هیچ مدل واقعی اجرا نشده است. زوج اول/دوم باید ARI=1 و زوج اول/سوم باید ARI=-0.5 بدهد.
محدودیت
برای مقایسه دو اجرا، تعداد و هویت نمونه‌ها باید منطبق باشند. ARI پایدار، کیفیت معنایی یا منصفانه‌بودن خوشه‌ها را تأیید نمی‌کند.
برای پروژه پاسخ‌گویی، ابتدا هدف و حدود اتصال را در آموزش‌های اپرا مرور کنید و سپس دموی اپرا را ببینید. این متن ادعای ارائه زیرساخت مدل محلی از طرف اپرا ندارد.