RAM حافظه اصلی سیستم است و VRAM در بسیاری از کارت‌های گرافیک، حافظه اختصاصی پردازشگر گرافیکی است. فضای خالی یکی لزوماً محدودیت دیگری را رفع نمی‌کند. برای فهمیدن علت خطای حافظه باید بدانید وزن‌ها، متن گفت‌وگو و داده‌های موقت روی کدام دستگاه قرار دارند.
از محل قرارگیری مدل شروع کنید
در یک رایانه با کارت مجزا، ممکن است بخشی از مدل روی GPU و بخشی در RAM باشد. جابه‌جایی میان این حافظه‌ها هزینه زمانی دارد و به موتور اجرا وابسته است. بنابراین جمع‌کردن عدد RAM و VRAM و نوشتن آن به‌عنوان حافظه قابل استفاده یک مدل، روش مطمئنی نیست. در معماری حافظه یکپارچه نیز حافظه با برنامه‌های دیگر مشترک است.
چه چیزی را هم‌زمان ببینیم؟
قبل از اجرای مدل، حافظه اشغال‌شده سیستم و GPU را ثبت کنید. پس از بارگذاری و سپس بعد از ارسال یک متن طولانی دوباره مقدارها را ببینید. رشد بعد از بارگذاری می‌تواند از زمینه گفت‌وگو یا فضای موقت بیاید. اگر برنامه از CPU استفاده می‌کند، خالی‌بودن VRAM لزوماً خطا نیست؛ شاید شتاب‌دهنده انتخاب نشده یا پشتیبانی نشده باشد.
نمونه عملی
نمونه آموزشی: سیستم ۳۲ گیگابایت RAM و کارت ۸ گیگابایت VRAM دارد. این دستگاه را نباید معادل یک کارت ۴۰ گیگابایتی معرفی کرد. برای یک مدل مشخص، حالت اجرای کامل روی GPU را با حالت انتقال بخشی از لایه‌ها به CPU مقایسه کنید. اگر هر دو اجرا شدند، زمان پاسخ و مصرف هر حافظه را جدا بنویسید. نتیجه وابسته به مدل و تنظیمات است و از این اعداد به‌تنهایی نمی‌توان سرعت را محاسبه کرد.
| مورد بررسی | کار یا شاهد لازم | نتیجه مورد انتظار |
|---|---|---|
| پیش از بارگذاری | RAM و VRAM اشغال‌شده را جدا ثبت کنید | خط پایه مشخص |
| پس از بارگذاری | محل وزن‌ها را از ابزار موتور اجرا بخوانید | توزیع واقعی معلوم |
| پس از متن بلند | رشد هر حافظه را مقایسه کنید | اثر زمینه جدا شود |
| سایر برنامه‌ها | برنامه‌های هم‌زمان را ثبت کنید | بار مشترک پنهان نماند |
کاربرگ قابل استفاده
ردیف‌های جدول در فایل CSV این راهنما قرار دارند. ستون نتیجه واقعی، مسئول و تاریخ را پس از بررسی خودتان تکمیل کنید. مثال‌های این نوشته آموزشی‌اند و گزارش آزمون یک محصول یا مشتری نیستند.
محدودیت و قدم بعد
این تفکیک برای هر معماری دقیقاً یکسان نیست. حافظه یکپارچه، GPU مجازی و انتقال لایه‌ها قواعد متفاوت دارند. نتیجه پایش همان محیط از جمع ساده اعداد معتبرتر است.
اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.