رفتن به محتوای اصلی
بازگشت به وبلاگ

سخت‌افزار هوش مصنوعی

اجرای مدل روی CPU یا GPU؛ چگونه تصمیم بگیریم؟

برای کار تعاملی و پردازش دسته‌ای معیار زمان جدا تعیین کنید؛ سپس CPU و GPU را با مدل، ورودی و شرط کیفیت یکسان در محیط خودتان مقایسه کنید.

انتخاب CPU یا GPU را با اندازه مدل، زمان قابل قبول و تعداد درخواست‌ها انجام دهید. برای آزمایش محدود، CPU می‌تواند نقطه شروع باشد اگر موتور و مدل آن را پشتیبانی کنند. GPU نیز فقط وقتی مفید است که مسیر اجرا واقعاً از آن استفاده کند.

ابتدا حد قابل قبول را بنویسید

یک کار شبانه که خروجی آن صبح لازم است، با چت تعاملی یکسان نیست. برای کار نخست، زمان پایان کل مهم‌تر است؛ برای چت، شروع پاسخ و فاصله بین بخش‌های پاسخ هم اهمیت دارد. کیفیت پاسخ را در هر دو محیط با ورودی برابر بسنجید. تغییر هم‌زمان مدل و دستگاه، علت تفاوت را مبهم می‌کند.

اجرای آزمایشی کم‌هزینه

مدل و تنظیمات را ثابت نگه دارید، یک متن کوتاه و یک متن بلند آماده کنید و زمان بارگذاری را از تولید جدا ثبت کنید. وضعیت پردازش و مصرف حافظه را از ابزار رسمی موتور بخوانید. اگر GPU شناسایی نشده، پیش از نتیجه‌گیری درباره سرعت کارت، سازگاری و درایور را بررسی کنید. از خرید برای رفع خطایی که هنوز تشخیص داده نشده پرهیز کنید.

نمونه عملی

فرض کنید پنج گزارش در پایان روز خلاصه می‌شوند. اگر اجرای CPU در زمان مجاز تمام شود و کیفیت کافی باشد، GPU الزام این کار نیست. اما وقتی کاربر پشت صفحه منتظر پاسخ است، همان زمان ممکن است نامناسب باشد. در کاربرگ برای هر وظیفه یک حد انتظار و یک شاهد کیفیت تعریف کنید. سپس خروجی واقعی را وارد کنید؛ این مثال نمی‌گوید CPU همیشه ارزان‌تر یا GPU همیشه سریع‌تر خواهد بود.

مورد بررسیکار یا شاهد لازمنتیجه مورد انتظار
نوع کارتعاملی یا پردازش دسته‌ای را مشخص کنیدمعیار زمان درست
محیط ثابتمدل و تنظیمات یکسان باشندمقایسه قابل تفسیر
پایش دستگاهاستفاده واقعی از CPU یا GPU را بخوانیدمسیر اجرا تأیید شود
پذیرشکیفیت و زمان با هم بررسی شوندتصمیم متناسب وظیفه

کاربرگ قابل استفاده

ردیف‌های جدول در فایل CSV این راهنما قرار دارند. ستون نتیجه واقعی، مسئول و تاریخ را پس از بررسی خودتان تکمیل کنید. مثال‌های این نوشته آموزشی‌اند و گزارش آزمون یک محصول یا مشتری نیستند.

محدودیت و قدم بعد

مقایسه روی یک ورودی کوچک، نتیجه همه کارها نیست. هزینه برق، نگهداری و دسترسی به دستگاه نیز باید با شرایط واقعی سنجیده شوند؛ این متن تعرفه یا بنچمارک ارائه نمی‌کند.

اگر مسئله اصلی شما پاسخ‌گویی به مشتری است، پیش از هزینه برای زیرساخت، یک گفت‌وگوی واقعی و معیار پذیرش آن را مشخص کنید. برای آشنایی با مسیر محصول، راهنمای چت سایت اپرا و دموی اپرا را ببینید. این راهنما به معنی ارائه خدمات خرید یا اجرای GPU محلی از طرف اپرا نیست.

منبع فنی

برای این نیاز، کدام خدمت مناسب‌تر است؟

تماس و منشی، چت سایت و تحلیل مکالمه سه مسیر متفاوت‌اند. ابتدا خدمت متناسب نیازتان را انتخاب کنید.

انتخاب میان سه خدمتراهنمای شروع با تیم اپرا

برآورد هزینه