پیش از اصلاح، جمله نادرست و شاهد همان اجرا را کنار هم نگه دارید. پس از اصلاح نیز همان سؤال و چند صورت نزدیک آن را بررسی کنید؛ تغییر یک پاسخ منفرد، رفع علت تکرار خطا را ثابت نمی‌کند.
پاسخ غلط همیشه یک علت ندارد. ممکن است مدل ادعایی بدون پشتیبانی بسازد، از منبع قدیمی استفاده کند یا منبع درست را بد تفسیر کند. برای اصلاح، اول نوع خطا را تعیین کنید؛ افزودن یک جمله به پرامپت برای همه این حالت‌ها درمان یکسان نیست.
رد ادعا را دنبال کنید
جمله غلط را به بخش‌های کوچک تقسیم کنید و برای هر ادعا، منبع واردشده به مدل را پیدا کنید. اگر منبع قدیمی همان جمله را دارد، مسئله تازگی داده است. اگر منبع درست است ولی پاسخ خلاف آن می‌گوید، تفسیر یا تولید باید بررسی شود. اگر اصلاً شاهدی وارد نشده، پاسخ را ادعای بدون پشتوانه علامت بزنید.
اصلاح را به علت وصل کنید
برای داده قدیمی، مالک و چرخه بازبینی منبع لازم است. برای انتخاب قطعه نامرتبط، بازیابی را اصلاح کنید. برای پاسخ فراتر از شاهد، محدودیت پاسخ و آزمون استخراج ادعا طراحی کنید. بعد از اصلاح، همان نمونه و چند نمونه مرزی را تکرار کنید. فقط عوض‌کردن پاسخ نمایش‌داده‌شده، علت تکرار خطا را برطرف نمی‌کند.
نمونه عملی
در نمونه آموزشی، پاسخ می‌گوید ساعت کاری تا هفت است. سند واردشده به مدل نسخه قدیمی با همین ساعت است، درحالی‌که نسخه معتبر تا شش را اعلام می‌کند. این مورد را نباید صرفاً «مدل خیال‌بافی کرد» نامید. اکنون فرض کنید سند تا شش است ولی پاسخ هفت می‌نویسد؛ این مسیر بررسی دیگری دارد. کاربرگ برای تفکیک ادعا، شاهد، تاریخ و اقدام اصلاحی ساخته شده است.
| مورد بررسی | کار یا شاهد لازم | نتیجه مورد انتظار |
|---|---|---|
| ادعا | جمله قابل بررسی جدا شود | خطا دقیق |
| شاهد | قطعه واردشده به مدل پیدا شود | منبع معلوم |
| تازگی | نسخه و تاریخ منبع کنترل شوند | قدیمی‌بودن تفکیک |
| اصلاح | علت و آزمون تکرار ثبت شوند | رفع پایدارتر بررسی |
کاربرگ قابل استفاده
ردیف‌های جدول در فایل CSV این راهنما قرار دارند. ستون نتیجه واقعی، مسئول و تاریخ را پس از بررسی خودتان تکمیل کنید. مثال‌های این نوشته آموزشی‌اند و گزارش آزمون یک محصول یا مشتری نیستند.
محدودیت و قدم بعد
نبود شاهد قابل مشاهده، به‌تنهایی همه علت‌های داخلی را ثابت نمی‌کند. گزارش باید محدوده مشاهده را نشان دهد و از تشخیص قطعی بدون داده پرهیز کند.
اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.