توکن واحد پردازش متن در مدل است و همیشه برابر یک کلمه نیست. یک واژه فارسی ممکن است به چند توکن تبدیل شود و علائم، فاصله یا شکل نویسه نیز اثر بگذارند. بنابراین تعداد کلمه برای برآورد دقیق طول ورودی یا مصرف مدل کافی نیست.
با ابزار همان مدل بشمارید
دو مدل ممکن است توکنایزر متفاوت داشته باشند؛ ضریب ثابت «هر کلمه چند توکن» برای همه آن‌ها دقیق نیست. متن ورودی واقعی شامل دستور سیستم، تاریخچه و گاهی قالب‌های پنهان برنامه است. اگر فقط جمله کاربر را بشمارید، کل زمینه را کمتر برآورد می‌کنید. سقف ورودی و خروجی را نیز جدا بخوانید.
فارسی را بدون تخریب متن آماده کنید
نمونه‌ای با نیم‌فاصله، عدد، نام خاص و نشانی تهیه کنید. اگر برای یکسان‌سازی حروف تغییر می‌دهید، متن اصلی را نگه دارید و اثر تغییر را بسنجید. حذف همه علائم ممکن است معنی را عوض کند. کمترشدن توکن، به‌تنهایی بهبود کیفیت نیست؛ باید اطلاعات لازم باقی بماند و خروجی هنوز درست باشد.
نمونه عملی
در نمونه آموزشی، دو شکل «می‌روم» و «می روم» را با توکنایزر نسخه انتخابی بررسی می‌کنید. ممکن است تعداد یا تقسیم آن‌ها متفاوت باشد؛ این مقاله عدد ثابتی برای آن اعلام نمی‌کند. سپس یک پاراگراف واقعی غیرحساس را با کل دستور سیستم می‌شمارید. کاربرگ تعداد کلمه، تعداد توکن و نام توکنایزر را کنار هم نگه می‌دارد تا بعدها برآورد یک مدل به مدل دیگر منتقل نشود.
| مورد بررسی | کار یا شاهد لازم | نتیجه مورد انتظار |
|---|---|---|
| توکنایزر | نام و نسخه همان مدل ثبت شوند | شمارش معتبر |
| زمینه | دستور و تاریخچه نیز شمرده شوند | ورودی کامل |
| فارسی | نیم‌فاصله و عدد و نام خاص آزمایش شوند | تفاوت نویسه معلوم |
| خروجی | سقف تولید جدا تعیین شود | زمینه و پاسخ مخلوط نشوند |
کاربرگ قابل استفاده
در کاربرگ مقایسه متن فارسی سه ورودی آموزشی و ستون‌های نام توکنایزر، نسخه مدل، تعداد کلمه و تعداد توکن وجود دارد. همه شمارش‌ها خالی‌اند و پس از اجرای ابزار همان نسخه پر می‌شوند. نتیجه واقعی، مسئول و تاریخ را هم ثبت کنید؛ هیچ شمارش توکن یا آزمون واقعی ادعا نشده است.
محدودیت و قدم بعد
این توضیح جدول تعرفه یا مصرف محصولی خاص نیست. اگر هزینه برحسب پاسخ یا دقیقه محاسبه می‌شود، آن را با توکن مدل یکسان فرض نکنید.
اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.