برای نمره‌دادن به خروجی، معیارهای جدا با تعریف قابل مشاهده بنویسید. صحت، پوشش، رعایت قالب و لحن را در یک نمره مبهم ادغام نکنید.
مسئله را درست تعریف کنیم
خطای اطلاعاتی مهم نباید با نثر زیبا جبران شود. بعضی معیارها شرط عبورند و بعضی فقط به مقایسه دو خروجی قابل قبول کمک می‌کنند.
روش اجرا
- برای هر معیار مثال قبولی و رد تعریف کنید.
- خطاهای مانع استفاده را مستقل از امتیاز کل علامت بزنید.
- دو ارزیاب یک نمونه را بدون دیدن نمره یکدیگر بررسی و اختلاف را حل کنند.
نکته اجرایی و کنترل خطا
برای معیار چندسطحی، تفاوت امتیازها را با شاهد توضیح دهید. مثلاً پوشش کامل یعنی همه اقلام ضروری آمده‌اند، پوشش ناقص یعنی دست‌کم یک قلم غایب است، و خطای معنایی یعنی قلمی خلاف منبع نوشته شده است. این تعریف از نمره سلیقه‌ای روشن‌تر است. ارزیاب باید بتواند جمله شاهد را نشان دهد. اختلاف دو ارزیاب معمولاً فرصتی برای روشن‌کردن معیار است؛ آن را صرفاً با میانگین‌گرفتن حل نکنید. وزن معیارها هم پیش از دیدن برنده تعیین شود تا نتیجه دلخواه، قاعده نمره‌دهی را عوض نکند.
نمونه آموزشی
در خلاصه آموزشی قرارداد، مبلغ اشتباه مانع استفاده است حتی اگر لحن پنج از پنج باشد. خروجی دیگر با نثر متوسط و مبلغ درست ممکن است نیازمند ویرایش باشد؛ امتیاز میانگین این تفاوت را پنهان می‌کند.
آزمون تکمیلی برای تصمیم عملی
در یک نمونه فرضی، خلاصه همه موضوع‌ها را پوشش می‌دهد اما مبلغی را اشتباه نقل می‌کند. ارزیاب باید جمله نادرست را نشان دهد و مانع استفاده را ثبت کند، حتی اگر امتیاز لحن بالا باشد. سپس همان معیار را روی خروجی دارای مبلغ درست و جمله‌بندی ضعیف اجرا کنید. اگر هر دو تصمیم یکسان شدند، تعریف شرط رد یا نیاز به ویرایش هنوز روشن نیست.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| شناسه خروجی | خلاصه نمونه S12 |
| معیار | صحت مبلغ؛ شرط مانع استفاده |
| تعریف قبولی | هر مبلغ باید شاهد عینی داشته باشد |
| امتیاز | لحن ۴ از ۵، مستقل از صحت |
| خطای مانع | مبلغ نادرست با امتیاز لحن جبران نمی‌شود |
| شاهد متن | عبارت منبع و جمله خروجی را کنار هم بگذارید |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
داور مبتنی بر مدل هم ممکن است جانبدار یا ناپایدار باشد؛ چند نمونه حساس را انسان بازبینی کند.
منبع فنی برای مطالعه بیشتر
مستندات Claude: راهنمای طراحی پرامپت. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای جداکردن خطای مهم از امتیاز ظاهری، خطای بحرانی در ارزیابی تماس چیست؟ جدول شدت و شاهد را ببینید.