برای کنترل دو سند با حکم متفاوت، آزمون را روی خروجی مرحله بازیابی انجام دهید؛ منتظر پاسخ روان مدل نمانید. هر مورد آزمون باید ویژگی‌های مخاطب، تاریخ مبنا و دسترسی را به شناسه سند مجاز وصل کند.
سه محور مستقل آزمون
فرض آموزشی ما دو سند با دامنه‌های متفاوت است. محور اول نوع قرارداد، محور دوم تاریخ اجرای حکم و محور سوم مجوز مشاهده سند است. هر محور باید جدا تغییر کند تا معلوم شود فیلتر کدام شرط را رعایت نکرده است. اگر چند ویژگی هم‌زمان عوض شوند، علت خطا قابل تشخیص نیست.
ماتریس انتظار
| وضعیت ورودی | انتظار از بازیابی |
|---|---|
| دامنه مشخص، تاریخ معتبر، دسترسی مجاز | فقط شناسه سند همان دامنه و بازه |
| دامنه نامشخص | عدم انتخاب قطعی؛ پرسش روشن‌کننده |
| سند معتبر ولی بدون مجوز | عدم نمایش متن و نقل‌قول |
| دو سند مجاز در یک دامنه و تاریخ با حکم ناسازگار | پرچم تعارض؛ عدم انتخاب بی‌دلیل |
نمونه اجرای آموزشی
سند A برای قرارداد سازمانی و سند B برای مصرف‌کننده تعریف شده‌اند. ورودی پایه نوع قرارداد سازمانی دارد؛ انتظار، فقط A است. در مورد دوم نوع قرارداد حذف می‌شود و انتظار به پرسش درباره دامنه تغییر می‌کند. در مورد سوم همان ورودی پایه با مجوز مشاهده لغوشده اجرا می‌شود؛ متن A نباید در زمینه مدل باقی بماند. این سه آزمایش از نظر ظاهری مشابه‌اند ولی رفتار مجاز متفاوتی دارند.
ثبت شاهد و تفسیر شکست
برای هر اجرا، شناسه سندهای نامزد، سندهای باقی‌مانده پس از فیلتر و دلیل رد را ثبت کنید. لازم نیست متن حساس سند وارد گزارش شود. اگر فهرست نامزدها درست ولی زمینه نهایی نادرست است، خطا احتمالاً بین فیلتر و ساخت زمینه رخ داده و اصلاح پرامپت راه‌حل کافی نیست. کش پاسخ و کش جست‌وجو را هم در یک اجرای جدا با تغییر دسترسی آزمایش کنید.
فایل آزمون
فرم CSV ماتریس آزمون را برای دامنه، تاریخ، مجوز، سند مورد انتظار و نتیجه مشاهده‌شده تکمیل کنید. هر ردیف فقط یک تغییر کنترل‌شده داشته باشد. مقدار نامعلوم باید صریح بماند و به دامنه پیش‌فرض تبدیل نشود.
محدودیت و گام بعدی
این آزمون صحت سیاست کسب‌وکار یا مالکیت متن را تعیین نمی‌کند؛ برای حل تعارض واقعی از فرایند رفع پاسخ‌های متناقض استفاده کنید. برای طراحی سناریوی پاسخ‌گویی خود، یک جفت سند بی‌نام و نتیجه مورد انتظار آماده کنید و از مسیر دمو اپرا برای بررسی تناسب کاربرد شروع کنید. قابلیت اجرایی باید در همان سناریو تأیید شود.
منبع فنی
راهنمای اصلی Microsoft درباره RAG؛ ماتریس و مثال این مطلب پیشنهادی و آموزشی‌اند.