بسته‌شدن پنجره چت لزوماً مدل را از حافظه خارج نمی‌کند. رابط کاربری و موتور می‌توانند فرایندهای جدا باشند و موتور برای پاسخ بعدی مدل را آماده نگه دارد. پیش از بستن اجباری برنامه‌ها، وضعیت مدل بارگذاری‌شده را از ابزار رسمی بخوانید.
سه نوع حافظه را مخلوط نکنید
وزن‌های بارگذاری‌شده، کش اجرای درخواست و حافظه برنامه رابط با هم تفاوت دارند. اینکه GPU هنوز حافظه اشغال‌شده نشان می‌دهد، به‌تنهایی نشت حافظه نیست. در Ollama وضعیت مدل‌های فعال و تنظیم ماندگاری مدل مستند شده است. نام مدل واقعی و نسخه برنامه را ثبت کنید؛ تنظیم نسخه دیگر ممکن است رفتار متفاوتی داشته باشد.
ماندگاری را متناسب استفاده انتخاب کنید
اگر چند درخواست نزدیک به هم دارید، آماده‌ماندن مدل می‌تواند از بارگذاری دوباره جلوگیری کند. اگر حافظه برای برنامه دیگری لازم است، توقف مجاز مدل را مطابق مستندات بررسی کنید. پس از تغییر، وضعیت را دوباره ببینید و زمان اجرای بعدی را ثبت کنید. بدون شناخت صاحب فرایند، سرویس مشترک را متوقف نکنید و آزادشدن فوری همه حافظه را وعده ندهید.
نمونه عملی
در نمونه آموزشی، کاربر پنجره چت را می‌بندد و تصور می‌کند مدل باید همان لحظه از GPU خارج شود. ابتدا مدل‌های فعال را مشاهده می‌کند و می‌بیند موتور آن را برای مدت مشخص نگه داشته است. پس از توقف کنترل‌شده همان مدل، مصرف را دوباره ثبت می‌کند. اگر مصرف باقی ماند، باید سایر فرایندها بررسی شوند؛ نمی‌توان آن را فوراً نشت حافظه موتور نامید. همه زمان‌ها و نام‌ها در کاربرگ از محیط واقعی پر می‌شوند.
| مورد بررسی | کار یا شاهد لازم | نتیجه مورد انتظار |
|---|---|---|
| رابط | بسته‌شدن پنجره را از موتور جدا کنید | فرایندها روشن |
| مدل فعال | فهرست بارگذاری‌شده خوانده شود | مصرف به مدل وصل شود |
| ماندگاری | تنظیم نسخه فعلی مطالعه شود | رفتار مورد انتظار معلوم |
| پس از توقف | مصرف و بارگذاری بعدی ثبت شود | اثر تغییر سنجیده |
کاربرگ قابل استفاده
ردیف‌های جدول در فایل CSV این راهنما قرار دارند. ستون نتیجه واقعی، مسئول و تاریخ را پس از بررسی خودتان تکمیل کنید. مثال‌های این نوشته آموزشی‌اند و گزارش آزمون یک محصول یا مشتری نیستند.
محدودیت و قدم بعد
پایش حافظه یک لحظه، تشخیص نشت نیست. اگر رفتار تکرارپذیر نامعمول وجود دارد، گزارش پاک‌سازی‌شده و نسخه برنامه را برای بررسی نگه دارید.
اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.