برای فهمیدن فایده یک بند پرامپت، آن بند را حذف و باقی شرایط را ثابت نگه دارید. این آزمون حذف، هزینه و پیچیدگی دستور را به رفتار قابل اندازه‌گیری وصل می‌کند.
مسئله را درست تعریف کنیم
اگر هم‌زمان نمونه‌ها، مدل و قالب عوض شوند، نتیجه به حذف بند قابل نسبت‌دادن نیست. کاهش طول متن فقط وقتی مطلوب است که رفتار لازم باقی بماند.
روش اجرا
- نسخه کامل و نسخه فاقد یک بند را آماده کنید.
- هر دو را روی مجموعه آزمون یکسان چند بار اجرا کنید.
- اختلاف خطا، طول و زمان را جدا ثبت و نمونه شکست را بخوانید.
نکته اجرایی و کنترل خطا
آزمون حذف را برای بندهای کوچک و با نام روشن انجام دهید تا نتیجه قابل تفسیر بماند. اگر حذف بند ظاهراً اثری ندارد، شاید مجموعه آزمون آن رفتار را پوشش نمی‌دهد؛ پیش از حذف دائمی، موردی بسازید که آن بند برایش نوشته شده است. نتیجه چند اجرا را کنار هم ببینید و فقط بهترین پاسخ را انتخاب نکنید. گاهی دو بند یک نقش تکراری دارند و حذف یکی مفید است؛ گاهی بند کوتاه فقط در ورودی نادر اما حساس لازم می‌شود. تصمیم نگهداری باید این تفاوت را منعکس کند.
نمونه آموزشی
در نمونه آموزشی، جمله «همه نام‌ها را حفظ کن» حذف می‌شود. اگر در ورودی‌های چندنفره نام مسئول گم شود، بند کارکرد داشته است؛ اگر فقط نثر تغییر کند، باید با معیار اصلی تصمیم گرفت نه ترجیح شخصی خواننده.
آزمون تکمیلی برای تصمیم عملی
ترتیب اجرای نسخه‌ها را هم ثبت کنید. اگر داده منبع یا تنظیم مدل میان دو اجرا عوض شده باشد، اختلاف را فقط به حذف یک بخش پرامپت نسبت ندهید. مواردی را که پس از حذف بهتر و بدتر شده‌اند جدا ببینید و دلیل تصمیم نهایی را به همان نمونه‌ها وصل کنید.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| بند حذف‌شده | بند «نام‌ها را حفظ کن» |
| نسخه پایه | متن کامل v01 در برابر حذف همان بند |
| آزمون | ورودی مشترک چندنفره |
| خطای جدید | نام مسئول پس از حذف افتاده است |
| تغییر طول | تعداد واژه و زمان را مستقل بسنجید |
| تصمیم نگهداری | اگر خطای حساس برگشت، بند را نگه دارید |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
چند اجرای یک مدل، قطعیت آماری ایجاد نمی‌کند. آزمون حذف ممکن است اثر تعامل دو بند را نشان ندهد.
منبع فنی برای مطالعه بیشتر
مستندات Claude: راهنمای طراحی پرامپت. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای ثابت‌نگه‌داشتن ورودی دو نسخه هنگام مقایسه، دو نسخه تحلیل تماس را با همان تماس‌ها مقایسه کنیم را ببینید.