بنچمارک مرتبط، همان کاری را می‌سنجد که قرار است انجام دهید. برای مدل زبانی، زمان بارگذاری، آماده‌سازی ورودی، شروع پاسخ و تولید خروجی را جدا ببینید. یک عدد توکن‌برثانیه بدون نام مدل و تنظیمات، مبنای مطمئنی برای انتخاب سیستم نیست.
چه چیزهایی باید ثابت بمانند؟
نسخه مدل، موتور، نوع ذخیره وزن‌ها، طول ورودی و سقف خروجی را ثبت کنید. مجموعه‌ای کوچک از متن‌های کوتاه، بلند و مرزی آماده کنید و داده حساس وارد آزمون نکنید. نخستین اجرا ممکن است شامل بارگذاری باشد؛ آن را جدا از اجرای گرم نگه دارید. پاسخ نادرست سریع را موفقیت حساب نکنید.
زمان‌ها را چگونه گزارش کنیم؟
مبدأ و پایان هر زمان را تعریف کنید. آیا زمان شبکه در عدد هست؟ آیا کاربر نخستین بخش پاسخ را دیده یا کل پاسخ تمام شده است؟ برای هر ورودی چند تکرار با شرایط یکسان انجام دهید و پراکندگی را نیز نشان دهید. اگر از زمان‌های داخلی API استفاده می‌کنید، واحد آن‌ها را از مستندات همان نسخه بخوانید؛ با زمان دیواری مرورگر یکی فرض نکنید.
نمونه عملی
برای یک آزمون آموزشی، سه ورودی ثابت و یک سقف خروجی برابر انتخاب کنید. یک بار مدل را سرد و سپس چند بار گرم اجرا کنید. جدول ممکن است نشان دهد بارگذاری طولانی است ولی پس از آن تولید مناسب است. این نتیجه برای سرویس همیشه‌روشن و برنامه گهگاه‌استفاده‌شده معنای متفاوتی دارد. بدون ثبت این شرایط، مقایسه دو کارت ممکن است در واقع مقایسه بارگذاری سرد یکی با اجرای گرم دیگری باشد.
| مورد بررسی | کار یا شاهد لازم | نتیجه مورد انتظار |
|---|---|---|
| نسخه | نام و شناسه مدل و موتور ثبت شود | آزمون قابل بازتولید |
| ورودی | متن‌های ثابت با طول‌های متفاوت آماده شوند | بار مقایسه یکسان |
| زمان | بارگذاری و تولید و شبکه جدا شوند | عدد قابل تفسیر |
| کیفیت | درستی و کامل‌بودن پاسخ بررسی شود | سرعت تنها معیار نباشد |
کاربرگ قابل استفاده
ردیف‌های جدول در فایل CSV این راهنما قرار دارند. ستون نتیجه واقعی، مسئول و تاریخ را پس از بررسی خودتان تکمیل کنید. مثال‌های این نوشته آموزشی‌اند و گزارش آزمون یک محصول یا مشتری نیستند.
محدودیت و قدم بعد
اعداد این کاربرگ باید با آزمون واقعی پر شوند. نتیجه یک موتور یا مدل را بنچمارک عمومی کارت معرفی نکنید؛ شرایط اجرای آن بخشی از نتیجه است.
اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.