بازرتبه‌بند نتیجه‌های اولیه را دوباره مرتب می‌کند؛ ارزش آن را با کیفیت شاهد و تأخیر اضافی بسنجید. اگر سند درست اصلاً در نامزدها نیست، صرف مرتب‌سازی آن را ایجاد نمی‌کند.
مسئله را درست تعریف کنیم
کیفیت مرحله بازیابی و کیفیت مرتب‌سازی دو مسئله جدا هستند. افزایش امتیاز رتبه بالا نباید هزینه زمانی یا افت گروهی از سؤال‌ها را پنهان کند.
روش اجرا
- فهرست نامزدهای اولیه را برای هر سؤال ثابت کنید.
- رتبه شاهد درست را قبل و بعد ثبت کنید.
- تأخیر و خطاهای تازه را در سؤال‌های دشوار مقایسه کنید.
نکته اجرایی و کنترل خطا
نمونه‌هایی را که شاهد درستشان از قبل در رتبه بالا بوده هم در آزمون نگه دارید. بازرتبه‌بند ممکن است به سؤال دشوار کمک کند و در سؤال ساده سند مناسب را پایین ببرد. زمان را از آغاز درخواست تا آماده‌شدن فهرست نهایی بسنجید و اندازه ورودی بازرتبه‌بند را ثبت کنید. اگر کاربر پاسخ زنده می‌خواهد، افزایش تأخیر باید در همان تجربه ارزیابی شود. همچنین متن طولانی نامزدها ممکن است ناقص وارد مرحله دوم شود؛ بررسی کنید بخش شاهد واقعاً در ورودی بازرتبه‌بند بوده است، نه فقط در سند اصلی.
نمونه آموزشی
در مثال آموزشی، سند درست در رتبه هشتم نامزدهاست و بازرتبه‌بند آن را به دوم می‌آورد. برای سؤال دیگری سند درست خارج از نامزدهاست؛ تغییر ترتیب نتیجه‌ها کمکی نمی‌کند و باید بازیابی اولیه اصلاح شود.
آزمون تکمیلی برای تصمیم عملی
در مقایسه، موارد بدون شاهد درست را از محاسبه بهبود رتبه جدا گزارش کنید. رتبه بهتر برای یک سند نامرتبط موفقیت محسوب نمی‌شود. اگر مرحله دوم فقط متن کوتاه‌شده نامزد را دریافت کرده، همان متن واقعی را کنار نتیجه نگه دارید تا علت افت به ورودی مرحله دوم یا خود مرتب‌سازی وصل شود.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| سؤال | سؤال ثابت درباره همان سند |
| تعداد نامزد | نامزدهای اولیه یکسان برای هر دو اجرا |
| رتبه قبل | شاهد در رتبه ۸ بوده است |
| رتبه بعد | شاهد پس از بازرتبه‌بندی رتبه ۲ است |
| زمان اضافی | فاصله شروع تا فهرست نهایی را بسنجید |
| تصمیم استفاده | کیفیت و تأخیر را کنار هم تصمیم بگیرید |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
معیار پذیرش تأخیر به تجربه کاربر وابسته است؛ عدد آزمایش محلی را وعده سرعت سرویس معرفی نکنید.
منبع فنی برای مطالعه بیشتر
Microsoft Learn: بازیابی و تولید پاسخ RAG. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای مقایسه همان ورودی‌ها بین دو نسخه، دو نسخه تحلیل تماس را با همان تماس‌ها مقایسه کنیم را ببینید.