مجموعه مرجع بازیابی، فهرست سؤال‌هایی است که سند یا بخش درستشان از قبل با بازبینی مشخص شده است. بدون این مرجع، بهترشدن نتایج فقط برداشت شخصی می‌ماند.
مسئله را درست تعریف کنیم
گاهی چند سند جواب قابل قبول دارند. ثبت تنها یک سند می‌تواند بازیابی درست دیگری را اشتباه حساب کند و مقایسه را منحرف سازد.
روش اجرا
- سؤال را از نیاز واقعی و بدون کپی عنوان سند بسازید.
- همه شواهد قابل قبول و میزان ارتباطشان را ثبت کنید.
- بخشی از سؤال‌ها را برای ارزیابی نهایی از تنظیم روزمره جدا نگه دارید.
نمونه آموزشی
در مثال آموزشی، «برای تغییر نشانی چه لازم است؟» هم راهنمای حساب و هم فرم تغییرات را نیاز دارد. آوردن فقط یکی پوشش کامل نیست. مجموعه مرجع باید دو شاهد و علت لازم‌بودن هر کدام را ثبت کند.
آزمون تکمیلی برای تصمیم عملی
برای ساخت مجموعه مرجع، چند سؤال آموزشی با پاسخ قابل نشان‌دادن در سند انتخاب کنید. برای هر سؤال، فقط عنوان سند را ننویسید؛ بخش شاهد و دلیل کافی‌بودن آن را ثبت کنید. اگر پاسخ از ترکیب دو بخش به دست می‌آید، هر دو لازم‌اند. سؤال‌هایی که فقط متن عنوان را تکرار می‌کنند، نماینده همه پرسش‌های کاربر نیستند؛ شکل محاوره‌ای، واژه جایگزین و پرسش دارای شرط را هم در صورت ارتباط با وظیفه وارد مجموعه کنید. شمار نمونه را به‌عنوان شاهد پوشش کامل معرفی نکنید.
دو نفر می‌توانند مستقل بررسی کنند آیا شاهد واقعاً پاسخ همان سؤال است. اختلاف را همراه دلیل نگه دارید؛ میانگین‌گرفتن از دو نظر مبهم، سند مرجع روشن نمی‌سازد. برای سؤال فاقد پاسخ نیز برچسب جدا داشته باشید تا سامانه بابت برگرداندن هر سندی امتیاز نگیرد. پس از تغییر نسخه منبع، نمونه‌های وابسته را بازبینی کنید. نتیجه آزمون باید به نسخه مجموعه و نسخه سندها متصل باشد؛ وگرنه تغییر عدد ممکن است فقط از تغییر مرجع آمده باشد.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| شناسه سؤال | Q07 برای سؤال تغییر نشانی |
| متن سؤال | پرسش کاربر را از عنوان کپی نکنید |
| سند قابل قبول | ممکن است راهنما و فرم هر دو لازم باشند |
| بخش | بخش مربوط به مدارک و مسیر ثبت |
| درجه ارتباط | لازم / تکمیلی / نامرتبط |
| بازبین مرجع | مرجع را پیش از نتیجه موتور بازبینی کنید |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
مرجع هم ممکن است خطا یا کهنگی داشته باشد؛ مالک و تاریخ بازبینی آن را مشخص کنید.
منبع فنی برای مطالعه بیشتر
Microsoft Learn: بازیابی و تولید پاسخ RAG. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای تبدیل تنوع ورودی به ماتریس آزمون، آزمون ایجنت با نویز و لهجه؛ ماتریس تست به‌جای یک دموی آرام را ببینید.