توافق برچسب‌زن‌ها را پیش از داوری نهایی روی برچسب‌های مستقل بسنجید. اگر اول اختلاف‌ها را حل کنید و بعد توافق را حساب کنید، عدد واقعی فرایند را از دست می‌دهید.
مسئله را درست تعریف کنیم
درصد توافق ساده فهم‌پذیر است، اما ترکیب دسته‌ها بر آن اثر دارد. معیارهای تعدیل‌شده مانند کاپا هم باید همراه جدول اختلاف و تعداد نمونه تفسیر شوند.
روش اجرا
- یک مجموعه مشترک را مستقل به دو نفر بدهید.
- برچسب اولیه و دلیل اختلاف را حفظ کنید.
- توافق و فراوانی دسته‌ها را گزارش و پس از آن داوری کنید.
نمونه آموزشی
در مثال آموزشی، دو نفر روی ده متن هشت بار یک برچسب می‌گذارند؛ توافق خام هشتاد درصد است. اگر تقریباً همه متن‌ها یک دسته باشند، این عدد به‌تنهایی قانع‌کننده نیست. بررسی دو اختلاف می‌تواند ابهام تعریف دسته را آشکار کند.
آزمون تکمیلی برای تصمیم عملی
پیش از محاسبه، واحد برچسب‌گذاری را ثابت کنید: کل مکالمه، یک پیام یا یک جمله. اگر دو نفر واحدهای متفاوتی دیده باشند، عدد توافق مسئله را درست نمایش نمی‌دهد. همان مجموعه و همان نسخه راهنما را به هر دو بدهید و از تبادل نظر پیش از ثبت برچسب اولیه جلوگیری کنید. برای نمونه‌ای که یک نفر آن را فاقد شاهد می‌داند، مقدار خالی را خودکار توافق یا مخالفت حساب نکنید؛ قاعده برخورد با داده ناقص باید پیشاپیش مشخص باشد.
در مرور اختلاف‌ها، روشن کنید مسئله از تعریف دسته، برداشت از متن یا خطای ساده ثبت بوده است. اگر راهنما اصلاح شد، برچسب‌های اولیه را برای گزارش همان دور نگه دارید و دور جدید را جدا نام‌گذاری کنید. توافق بعد از جلسه داوری، با توافق مستقل پیش از داوری یک معنا ندارد. همراه عدد نهایی، تعداد نمونه و فراوانی دسته‌ها را هم گزارش کنید و موارد کم‌نمونه را پنهان نکنید. این مثال روشی برای ثبت فرایند است؛ هیچ مقدار ثابت توافق را برای همه پروژه‌ها شرط کافی کیفیت معرفی نمی‌کند.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| شناسه نمونه | نمونه مشترک بدون نام مشتری |
| برچسب نفر اول | برچسب مستقل نفر اول پیش از بحث |
| برچسب نفر دوم | نفر دوم برچسب اول را نبیند |
| توافق خام | ۸ توافق از ۱۰ = ۸۰٪ |
| نوع اختلاف | اختلاف تعریف یا نبود شاهد را جدا کنید |
| تصمیم داور | داوری پس از حفظ برچسب‌های اولیه انجام شود |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
هیچ آستانه واحدی کیفیت همه پروژه‌ها را تضمین نمی‌کند؛ حساسیت تصمیم و ترکیب داده مهم‌اند.
منبع فنی برای مطالعه بیشتر
scikit-learn: metrics.cohen_kappa_score. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
پس از اندازه‌گیری اختلاف و حفظ برچسب اولیه، برای جلسه رفع ابهام، دو ارزیاب به یک تماس امتیاز متفاوت می‌دهند؛ جلسه کالیبراسیون را ببینید.