برای تخمین اولیه حافظه وزن‌های مدل زبانی، تعداد پارامتر را در تعداد بیت ذخیره هر پارامتر ضرب و بر هشت تقسیم کنید. این فقط بخش وزن‌هاست؛ حافظه لازم برای اجرای واقعی شامل زمینه، فضای موقت و سربار موتور نیز می‌شود.
فرمول چه می‌گوید و چه نمی‌گوید؟
اگر مدلی فرضی هفت میلیارد پارامتر داشته باشد و هر پارامتر در دو بایت ذخیره شود، وزن‌های خام آن حدود چهارده میلیارد بایت خواهند بود. این عدد به واحد ده‌دهی است و با چهارده گیبی‌بایت یکی نیست. مدل کم‌دقت ممکن است وزن کوچک‌تری داشته باشد اما اطلاعات مقیاس‌بندی و ساختار ذخیره نیز فضا می‌گیرند؛ اندازه دقیق فایل و ابزار اجرا را کنترل کنید.
زمینه و هم‌زمانی را وارد کاربرگ کنید
تعداد کاربران و طول زمینه روی حافظه اجرای مدل اثر دارند. بدون دانستن معماری و روش کش، یک ضریب ثابت را برای همه مدل‌ها به کار نبرید. ابتدا مدل را با درخواست کوتاه اجرا کنید و سپس ورودی بلند و هم‌زمانی مورد انتظار را جدا افزایش دهید. تخمین زمانی قابل اتکا می‌شود که با مصرف واقعی روی همان تنظیمات مقایسه شود.
نمونه عملی
در یک برآورد آموزشی، وزن خام مدل فرضی ۷ میلیاردی با ذخیره ۱۶ بیتی حدود ۱۴ گیگابایت ده‌دهی است. خرید کارتی با همین ظرفیت اسمی صرفاً براساس این محاسبه ممکن است به شکست اجرا برسد، چون حافظه برای همه اجزای دیگر صفر فرض شده است. در کاربرگ، برای وزن، کش و سربار سه ردیف جدا بگذارید و هر ردیفی را که اندازه نگرفته‌اید «نامعلوم» بنویسید؛ جمع ناقص را نیاز نهایی اعلام نکنید.
| مورد بررسی | کار یا شاهد لازم | نتیجه مورد انتظار |
|---|---|---|
| وزن خام | پارامتر × بیت ÷ هشت را حساب کنید | تخمین نظری با واحد |
| فایل واقعی | حجم و نوع فایل نسخه را ثبت کنید | سربار ذخیره معلوم |
| زمینه | ورودی کوتاه و بلند را جدا بسنجید | رشد حافظه معلوم |
| هم‌زمانی | تعداد درخواست هم‌زمان را مشخص کنید | اوج مصرف ثبت شود |
کاربرگ قابل استفاده
ردیف‌های جدول در فایل CSV این راهنما قرار دارند. ستون نتیجه واقعی، مسئول و تاریخ را پس از بررسی خودتان تکمیل کنید. مثال‌های این نوشته آموزشی‌اند و گزارش آزمون یک محصول یا مشتری نیستند.
محدودیت و قدم بعد
فرمول وزن‌ها توصیه خرید نیست. روش کم‌دقت‌سازی، معماری و کش می‌توانند نتیجه را تغییر دهند. بدون آزمون بار واقعی، ظرفیت قطعی یا تعداد کاربر قابل پشتیبانی اعلام نکنید.
اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.