مدل embedding فارسی را با سؤال و سند فارسی واقعیِ مجاز مقایسه کنید. تعداد زبان‌های اعلام‌شده یا جایگاه عمومی یک مدل، کیفیت روی واژه‌های کسب‌وکار شما را ثابت نمی‌کند.
مسئله را درست تعریف کنیم
شناسه محصول، نیم‌فاصله، شکل اعداد و اصطلاح محلی می‌توانند نتیجه بازیابی را تغییر دهند. انتخاب باید روی همان نوع متن و سؤال مصرف‌کننده نهایی انجام شود.
روش اجرا
- برای هر سؤال سند درست و شکل‌های نوشتاری جایگزین ثبت کنید.
- نمایه و تنظیم بازیابی را در مقایسه ثابت نگه دارید.
- نتیجه را برای پرسش مفهومی و کلمه دقیق جدا گزارش کنید.
نکته اجرایی و کنترل خطا
نرمال‌سازی فارسی را در دو مسیر مقایسه یکسان اعمال کنید. اگر یک نمایه حروف عربی و فارسی را یکسان کند و دیگری نکند، اختلاف فقط ناشی از مدل embedding نیست. سؤال‌های آزمون را از عنوان سند کپی نکنید؛ هدف سنجش پرسش کاربر است. برای هر شکست بنویسید سند درست در نتیجه‌ها نبود یا در رتبه پایین بود. این تفکیک کمک می‌کند مسئله انتخاب مدل را با تنظیم جست‌وجو اشتباه نگیرید. در گزارش نهایی، زبان و حوزه سندها را روشن کنید تا عدد محدود به همان مجموعه تفسیر شود.
نمونه آموزشی
در مثال آموزشی، سؤال «لغو نوبت» باید به سند دارای عبارت «انصراف از زمان رزروشده» برسد. سؤال شامل کد مصنوعی P-17 هم باید دقیقاً سند همان کد را پیدا کند. موفقیت در یکی، جای دیگری را نمی‌گیرد.
آزمون تکمیلی برای تصمیم عملی
یک پرسش بدون پاسخ در مجموعه نیز قرار دهید. مدلی که برای هر سؤال نتیجه‌ای شبیه پیدا می‌کند، لزوماً بازیابی دقیق‌تری ندارد. موارد شاهد درست، شاهد نامرتبط و نبود شاهد را جدا علامت بزنید؛ انتخاب مدل باید هم یافتن سند لازم و هم پرهیز از تفسیر شباهت ظاهری به‌عنوان پاسخ را بررسی کند.
جدول کار برای همین موضوع
| فیلد ثبت | کاربرد در تصمیم |
|---|---|
| سؤال | «لغو نوبت» با واژه متفاوت سند |
| نوع واژه | مفهومی در برابر کد دقیق P-17 |
| سند مرجع | شناسه سندی که هر دو بازبین درست می‌دانند |
| مدل embedding | شناسه و نسخه مدل انتخابی |
| رتبه سند | رتبه شاهد درست را عددی ثبت کنید |
| یادداشت خطا | گم‌شدن کد با افت تطبیق مفهومی یکی نیست |
فایل قابل استفاده
دریافت فرم CSV این راهنما. هر سطر را با اطلاعات پروژه خود تکمیل کنید. خانه نامعلوم را نامشخص بگذارید؛ نبود شاهد را با عدد صفر یا تأیید جایگزین نکنید. فایل شامل اطلاعات مشتری واقعی نیست و برای ثبت بررسی به کار می‌رود.
محدودیت و تصمیم بعدی
آزمون کوچک، پوشش تمام گویش‌ها یا همه حوزه‌های فارسی را اثبات نمی‌کند؛ محدودیت مجموعه سؤال را منتشر کنید.
منبع فنی برای مطالعه بیشتر
Microsoft Learn: بازیابی و تولید پاسخ RAG. مثال‌ها و فرم این مطلب برای آموزش طراحی شده‌اند و نتیجه مشتری یا آزمون محصول نیستند.
ادامه مطالعه مرتبط
برای طراحی مجموعه کنترل‌شده با محورهای متفاوت ورودی، آزمون ایجنت با نویز و لهجه؛ ماتریس تست به‌جای یک دموی آرام را ببینید.