رفتن به محتوای اصلی
بازگشت به وبلاگ

داده و ارزیابی

Bootstrap جفت‌شده و گروهی؛ محاسبه بازه اختلاف دو مدل

با چهار گروه آموزشی، همه ۲۵۶ بازنمونه را بسازید و بازه صدکی اختلاف دقت دو مدل را حساب کنید؛ جفت رکوردها و وابستگی درون گروه حفظ می‌شود.

واحد بازنمونه‌گیری را درست انتخاب کنید

اگر هر مشتری چند رکورد دارد، بازنمونه‌گیری تک‌ردیف‌ها ممکن است وابستگی درون مشتری را بشکند. در bootstrap گروهی، شناسه گروه را با جایگذاری انتخاب می‌کنیم و همه رکوردهای آن را با هم می‌آوریم. برای مقایسه جفت‌شده، همان گروه‌ها و همان رکوردها برای هر دو مدل انتخاب می‌شوند؛ دو توزیع مستقل از مدل‌ها نمی‌سازیم. فرض اصلی این طرح، استقلال تقریبی بین گروه‌هاست، نه استقلال ردیف‌های داخل یک گروه.

داده کاملاً ساختگی چهارگروهی

هر یک از گروه‌های G1 تا G4 دو رکورد دارد. تعداد پاسخ درست مدل A به‌ترتیب ۲،۰،۱،۱ و مدل B برابر ۱،۱،۲،۱ است. بنابراین A چهار پاسخ درست از هشت و B پنج پاسخ درست از هشت دارد؛ اختلاف دقت B منهای A برابر 0.125، یعنی ۱۲٫۵ واحد درصد است. اختلاف داخل گروه‌ها به‌ترتیب منفی نیم، مثبت نیم، مثبت نیم و صفر است. چون اندازه گروه‌ها در این مثال برابر است، میانگین این چهار اختلاف با اختلاف دقت کل برابر می‌شود.

ساخت توزیع بدون قرعه تصادفی

برای هر بازنمونه چهار شناسه از میان چهار گروه با جایگذاری انتخاب کنید. انتخاب G1،G1،G2،G4 مجاز است و اختلاف آن برابر (-0.5-0.5+0.5+0)/4، یعنی منفی 0.125 می‌شود. در این مثال کوچک همه دنباله‌های مرتب را فهرست کرده‌ایم: ۴ به توان ۴، یعنی ۲۵۶ انتخاب هم‌احتمال. این کار خطای ناشی از تعداد قرعه‌های تصادفی را برای همین توزیع تجربی حذف می‌کند؛ عدم قطعیت ناشی از داشتن فقط چهار گروه را حذف نمی‌کند.

محاسبه بازه صدکی

۲۵۶ اختلاف را از کوچک به بزرگ مرتب کنید. با قرارداد صدک نزدیک‌ترین رتبه، جای صدک p برابر سقف p ضرب‌در ۲۵۶ است. صدک ۲٫۵٪ مشاهده هفتم و صدک ۹۷٫۵٪ مشاهده دویست‌وپنجاهم است. مقدارهای این دو رتبه منفی 0.25 و مثبت 0.5 شده‌اند؛ بازه صدکی اسمی ۹۵٪ در این مثال از منفی ۲۵ تا مثبت ۵۰ واحد درصد است. صفر داخل بازه است؛ این محاسبه به‌تنهایی ادعای برتری قطعی مدل B را پشتیبانی نمی‌کند.

فرض‌ها و مرز نتیجه

چهار گروه برای استنباط قابل اتکا بسیار کم است و بازه این مثال فقط روش را آموزش می‌دهد. اگر اندازه گروه‌ها متفاوت باشد، برای معیار رکوردی باید پس از انتخاب گروه‌ها، صورت و مخرج کل دوباره محاسبه شوند؛ میانگین ساده دقت گروه‌ها هدف دیگری دارد. وابستگی زمانی بین گروه‌ها هم ممکن است طرح دیگری لازم کند. روش صدکی با BCa یکی نیست و پوشش واقعی آن خودکار تضمین نمی‌شود. در گزارش واقعی، واحد گروه، تعریف معیار، روش صدک و تعداد بازنمونه را کامل ثبت کنید.

کاربرگ و نمونه ثبت

موردنمونه یا قاعده مشخص
گروه G1دو رکورد؛ A=2 درست، B=1 درست؛ اختلاف -0.5
گروه G2دو رکورد؛ A=0 درست، B=1 درست؛ اختلاف +0.5
گروه G3دو رکورد؛ A=1 درست، B=2 درست؛ اختلاف +0.5
گروه G4دو رکورد؛ A=1 درست، B=1 درست؛ اختلاف 0
اختلاف مشاهده‌شده۰٫۱۲۵؛ برابر ۱۲٫۵ واحد درصد
بازه صدکی اسمی ۹۵٪[-0.25,0.5]؛ چهار گروه برای ادعای پایدار کافی نیست

دریافت CSV داده و کاربرگ این مثال. داده‌ها آموزشی‌اند؛ برای کاربرد واقعی باید منبع، دامنه و قاعده تصمیم خودتان را ثبت کنید.

مرجع روش

SciPy: scipy.stats.bootstrap. فرایند اجرایی و اعداد مثال برای این راهنما طراحی شده‌اند و نتیجه آزمون هیچ محصولی نیستند.

ادامه مطالعه مرتبط

برای ساخت جفت داده یکسان پیش از محاسبه بازه، دو نسخه تحلیل تماس را با همان تماس‌ها مقایسه کنیم را ببینید.

دریافت همه ۲۵۶ بازنمونه و اختلاف محاسبه‌شده. مرتب‌سازی ستون آخر، رتبه‌های هفتم و دویست‌وپنجاهم را برای کنترل بازه نشان می‌دهد.

برای این نیاز، کدام خدمت مناسب‌تر است؟

تماس و منشی، چت سایت و تحلیل مکالمه سه مسیر متفاوت‌اند. ابتدا خدمت متناسب نیازتان را انتخاب کنید.

انتخاب میان سه خدمتراهنمای شروع با تیم اپرا

برآورد هزینه