Recall@K سهم شواهد مرتبطِ پیدا‌شده در میان K نتیجه اول از کل شواهد مرتبط مرجع است. این معیار پوشش بازیابی را می‌سنجد، نه صحت نهایی پاسخ مدل را.
مسئله را درست تعریف کنیم
برای محاسبه، ابتدا مجموعه اسناد مرتبط را بدانید. تعداد نتیجه‌های برگردانده‌شده یا امتیاز شباهت به‌تنهایی مخرج این کسر نیست.
روش اجرا
- برای هر سؤال اسناد مرتبط مرجع را فهرست کنید.
- شناسه‌های یکتای K نتیجه اول را با مرجع تطبیق دهید.
- نسبت را برای هر سؤال حساب و روش تجمیع را اعلام کنید.
نمونه آموزشی
در مثال آموزشی، چهار سند مرتبط A و B و C و D داریم. پنج نتیجه اول شامل A و C و سه سند نامرتبط است. Recall@5 برابر دو تقسیم بر چهار، یعنی نیم است. تکرار قطعه‌ای از A نباید آن را دو سند مرتبط حساب کند.
آزمون تکمیلی برای تصمیم عملی
در یک تمرین کاملاً فرضی، برای یک سؤال دو قطعه مرتبط در مرجع مشخص کنید. اگر میان نتیجه‌های بررسی‌شده فقط یکی از آن دو آمده باشد، باید همین نسبت را با تعریف مخرج روشن گزارش کنید؛ تعداد کل سندهای مخزن مخرج این سؤال نیست. همچنین معلوم کنید واحد شمارش «سند» است یا «قطعه». اگر یک سند به چند قطعه تبدیل شده، مخلوط‌کردن این دو واحد می‌تواند برداشت متفاوتی از پوشش بدهد. پیش از مقایسه نسخه‌ها، همین قرارداد را ثابت نگه دارید.
مقدار k را همراه نتیجه بنویسید و سؤال‌های فاقد شاهد مرجع را جدا تحلیل کنید. افزایش تعداد نتیجه‌ها ممکن است شاهد لازم را وارد فهرست کند، اما متن نامرتبط و حجم ورودی را هم بیشتر کند؛ از بهترشدن Recall به‌تنهایی کیفیت پاسخ نهایی نتیجه نگیرید. کاربرگ باید نتیجه هر سؤال و دلیل گم‌شدن شاهد را نشان دهد. اگر شاهد وجود داشته اما فیلتر مجوز آن را به‌درستی کنار گذاشته، آن را با شکست بازیابی یک سؤال مجاز یکی حساب نکنید.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| سؤال | یک سؤال و یک واحد سنجش ثابت |
| تعداد مرجع | چهار سند مرتبط A تا D |
| K | در این مثال پنج نتیجه اول |
| مرتبط یافته‌شده | دو سند یکتا A و C پیدا شده‌اند |
| شناسه یکتا | قطعه دوم A دوباره شمرده نشود |
| Recall | ۲÷۴ = ۰٫۵؛ نه ۲÷۵ |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
اگر مرجع ناقص باشد، عدد به‌دست‌آمده پوشش واقعی را دقیق نشان نمی‌دهد. واحد سند یا قطعه باید ثابت بماند.
منبع فنی برای مطالعه بیشتر
Microsoft Learn: بازیابی و تولید پاسخ RAG. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای تفاوت recall بازیابی با recall هشدار روی تماس، هشدارهای تحلیل تماس چقدر درست‌اند؟ Precision و Recall با مثال را ببینید.