RTF یا ضریب زمان واقعی، مدت پردازش را بر مدت صوت تقسیم می‌کند. اگر پردازش یک فایل۱۲۰ثانیه‌ای۳۰ثانیه طول بکشد، RTF برابر۰٫۲۵ است. معکوس آن RTFx برابر۴ می‌شود. این دو را جابه‌جا گزارش نکنید: در قرارداد اول عدد کمتر و در قرارداد دوم عدد بیشتر، پردازش سریع‌تر را نشان می‌دهد.
مرز زمان‌سنجی را قبل از اجرا بنویسید
آیا زمان دریافت فایل، بارگذاری مدل، انتظار صف و ذخیره متن در صورت کسر هستند؟ پاسخ برای دو گزارش باید یکسان باشد. زمان صرفاً داخل مدل را با زمان کامل درخواست مقایسه نکنید. مستند AIPerf انویدیا، RTFx را نسبت مدت صوت ورودی به تأخیر درخواست تعریف می‌کند؛ اگر مرز دیگری می‌گیرید، عنوان آن را روشن کنید.
برای زمان‌سنجی در یک فرایند پایتون می‌توانید اختلاف دو مقدار perf_counter را بگیرید. این ساعت شامل زمان انتظار هم می‌شود؛ process_time معنی دیگری دارد. برای عملیات شتاب‌دهنده‌ای که ممکن است ناهمگام باشد، پایان واقعی کار باید مطابق چارچوب اجرا مشخص شود؛ زمان برگشت فوری یک فراخوانی را زمان پایان پردازش ننامید.
دو فایل و دو میانگین متفاوت
| فایل ساختگی | مدت صوت | مدت پردازش | RTF |
|---|---|---|---|
| الف | ۱۰ثانیه | ۲ثانیه | ۰٫۲ |
| ب | ۱۰۰ثانیه | ۹۰ثانیه | ۰٫۹ |
میانگین ساده دو نسبت۰٫۵۵ است؛ اما نسبت مجموع زمان‌ها۹۲تقسیم بر۱۱۰، حدود۰٫۸۳۶ است. اولی به هر فایل وزن برابر می‌دهد و دومی برحسب مدت صوت وزن می‌گیرد. هر دو عدد با تعریف خود قابل محاسبه‌اند، ولی پاسخ یک سؤال واحد نیستند. نوع تجمیع را کنار نتیجه بنویسید.
کد محاسبه، بدون اجرای مدل
نمونه محاسبه RTF و RTFx فقط مدت‌ها را می‌گیرد. داده صفر، منفی و نامتناهی را رد می‌کند. نسبت‌های مثال و تجمیع دو فایل در آزمون محلی بررسی شده‌اند؛ این آزمون عدد سرعت اپرا، کارت گرافیک یا یک مدل واقعی تولید نمی‌کند.
از یک نسبت، ظرفیت تماس زنده نسازیم
RTF کمتر از یک روی فایل کامل به‌تنهایی ثابت نمی‌کند پاسخ هر نوبت تماس به‌موقع شروع می‌شود. یک اجرا می‌تواند ابتدا منتظر کل فایل بماند و بعد سریع پردازش کند. برای زنده‌بودن، تأخیر اولین خروجی، رفتار قطعه‌ها و صف هم‌زمان نیز مهم‌اند. همچنین چند فایل هم‌زمان ممکن است ظرفیت و حافظه متفاوتی بخواهند؛ سرعت تک‌فایل را در تعداد دلخواه ضرب نکنید.
- نسخه مدل، سخت‌افزار، نوع داده و تنظیم اجرا را ثبت کنید.
- اجرای سرد و گرم را جدا گزارش کنید؛ زمان بارگذاری را بی‌اعلام حذف نکنید.
- تعداد فایل، مجموع دقیقه و تعریف مرز زمان را بنویسید.
- خطای متن را کنار سرعت بسنجید؛ خروجی سریعِ ناقص موفقیت نیست.
- برای نتیجه تیمی، شرایط نمونه‌ها و نوع تجمیع را ثابت نگه دارید.
برای تجربه تماس، بودجه تأخیر پاسخ صوتی موضوع مکمل است؛ برای سنجش متن، WER فارسی را بررسی کنید. نیاز زمان تحویل فایل را در درخواست اپرانگار مطرح کنید؛ این مقاله تعهد سرعت سرویس اعلام نمی‌کند.
منابع مبنا: تعریف RTFx در AIPerf و مستند زمان‌سنج پایتون. تمام عددهای جدول آموزشی‌اند.