کارت شتاب‌دهنده هوش مصنوعی چیست و آیا بهتر از کارت گرافیک است؟

با گسترش هوش مصنوعی، بسیاری از کاربران برای اجرای مدل‌های زبانی و پردازش تصویر روی کامپیوتر شخصی به سراغ کارت گرافیک‌های قدرتمند می‌روند. اما پردازنده گرافیکی تنها سخت‌افزار مناسب برای این کار نیست. کارت‌های شتاب‌دهنده هوش مصنوعی نیز وجود دارند که می‌توانند بعضی محاسبات هوش مصنوعی را با مصرف برق بسیار کمتر انجام دهند.

این کارت‌ها معمولاً از طریق اسلات PCIe یا رابط M.2 به سیستم متصل می‌شوند و برخلاف کارت گرافیک، خروجی تصویر ندارند. بااین‌حال، خرید شتاب‌دهنده هوش مصنوعی برای هر کامپیوتری منطقی نیست؛ زیرا نوع مدل، سازگاری نرم‌افزار و محدودیت حافظه تأثیر زیادی بر کاربرد واقعی آن دارند.

کارت شتاب‌دهنده هوش مصنوعی چیست و چه تفاوتی با کارت گرافیک دارد؟

کارت شتاب‌دهنده هوش مصنوعی یا AI Accelerator یک قطعه سخت‌افزاری تخصصی است که برای سرعت بخشیدن به محاسبات مدل‌های هوش مصنوعی طراحی شده است. بسیاری از این کارت‌ها از نظر ظاهری شبیه کارت‌های توسعه کامپیوتر هستند، اما برخلاف GPU معمولی برای اجرای بازی یا نمایش تصویر ساخته نشده‌اند.

این سخت‌افزارها معمولاً روی عملیات ریاضی پرتکرار در شبکه‌های عصبی، به‌خصوص ضرب ماتریس‌ها و محاسبات کم‌دقت، تمرکز دارند. به همین دلیل می‌توانند بعضی مدل‌های سازگار را با مصرف انرژی پایین اجرا کنند.

تفاوت اصلی کارت گرافیک و شتاب‌دهنده هوش مصنوعی در میزان انعطاف‌پذیری است. کارت گرافیک‌های انویدیا و AMD علاوه بر پردازش گرافیکی، برای اجرای مدل‌های متنوع هوش مصنوعی نیز کاربرد دارند. در مقابل، شتاب‌دهنده‌های تخصصی معمولاً به مدل‌ها و چارچوب‌های نرم‌افزاری مشخصی محدود هستند.

بعضی از این کارت‌ها از حافظه اختصاصی استفاده می‌کنند و برخی دیگر برای اجرای مدل به حافظه سیستم یا حافظه داخلی تراشه متکی هستند. بنابراین وجود اسلات PCIe به‌تنهایی به معنای امکان اجرای هر مدل هوش مصنوعی روی کارت نیست.

کاربرد کارت‌های شتاب‌دهنده هوش مصنوعی در کامپیوتر و سیستم‌های کم‌مصرف

مهم‌ترین کاربرد شتاب‌دهنده هوش مصنوعی، اجرای مدل‌های آموزش‌دیده یا همان Inference است. در این حالت، سخت‌افزار به‌جای آموزش دادن مدل از ابتدا، اطلاعات جدید را دریافت می‌کند و نتیجه را محاسبه می‌کند.

به عنوان مثال، یک دوربین نظارتی می‌تواند تصاویر را به شتاب‌دهنده ارسال کند تا افراد، خودروها یا اشیای مشخص شناسایی شوند. چنین پردازشی ممکن است به‌صورت مداوم انجام شود و در نتیجه مصرف برق اهمیت زیادی پیدا می‌کند.

کاربردهای رایج این سخت‌افزارها عبارت‌اند از:

• تشخیص اشیا در تصویر: شناسایی افراد و وسایل نقلیه در تصاویر دوربین‌های امنیتی.
• پردازش ویدیو: تحلیل هم‌زمان چند جریان تصویری در سیستم‌های نظارتی.
• رباتیک: شناسایی محیط و اجرای مدل‌های بینایی ماشین در ربات‌های کوچک.
• پردازش صوت: اجرای مدل‌های سازگار برای تشخیص گفتار یا حذف نویز.
• هوش مصنوعی لبه: پردازش اطلاعات روی دستگاه، بدون نیاز به ارسال مداوم داده‌ها به سرور.

یکی از محصولات شناخته‌شده این حوزه، شتاب‌دهنده Hailo-8 است. هر تراشه Hailo-8 حداکثر توان محاسباتی اعلام‌شده ۲۶ TOPS دارد و برای اجرای مدل‌های سازگار با مصرف انرژی پایین طراحی شده است. بعضی کارت‌های چندتراشه‌ای نیز توان پردازشی بالاتری ارائه می‌کنند.

بااین‌حال، این اعداد به معنای پشتیبانی از تمام مدل‌های زبانی یا تصویری نیستند. شتاب‌دهنده‌ای که برای تشخیص اشیا بسیار سریع عمل می‌کند، ممکن است برای اجرای یک مدل زبانی بزرگ مناسب نباشد.

مقایسه کارت شتاب‌دهنده هوش مصنوعی با کارت گرافیک انویدیا و AMD

اگر هدف شما اجرای هوش مصنوعی آفلاین روی کامپیوتر است، انتخاب بین کارت گرافیک و شتاب‌دهنده تخصصی به نوع پردازش بستگی دارد. برای اجرای مدل‌های زبانی مانند Qwen و Llama یا تولید تصویر با مدل‌های مولد، معمولاً کارت گرافیک سازگار انتخاب انعطاف‌پذیرتری است.

کارت‌های گرافیک انویدیا به لطف پشتیبانی گسترده از CUDA و کتابخانه‌های مرتبط، با بسیاری از برنامه‌های هوش مصنوعی سازگار هستند. کارت‌های AMD نیز از طریق فناوری‌هایی مانند ROCm و بعضی موتورهای پردازشی دیگر می‌توانند مدل‌های هوش مصنوعی را اجرا کنند، هرچند میزان سازگاری به مدل کارت و سیستم‌عامل بستگی دارد.

برای مقایسه بهتر، تفاوت‌های اصلی این دو نوع سخت‌افزار را در جدول زیر مشاهده می‌کنید.

یکی از اشتباهات رایج، مقایسه مستقیم عدد TOPS در سخت‌افزارهای مختلف است. TOPS تعداد تریلیون عملیات در ثانیه را نشان می‌دهد، اما نوع عملیات، دقت عددی و شرایط اندازه‌گیری ممکن است متفاوت باشد. بنابراین نمی‌توان صرفاً با مقایسه TOPS نتیجه گرفت که یک کارت چند برابر کارت دیگر سریع‌تر است.

از طرف دیگر، کارت گرافیکی که توان مصرفی اسمی بالاتری دارد، الزاماً در تمام پردازش‌ها برق بیشتری مصرف نمی‌کند. برای مقایسه واقعی باید میزان انرژی مصرف‌شده به ازای هر پردازش تکمیل‌شده را بررسی کرد.

آیا خرید شتاب‌دهنده هوش مصنوعی برای کامپیوتر خانگی ارزش دارد؟

برای بیشتر کاربرانی که می‌خواهند مدل‌های زبانی را با LM Studio یا Ollama اجرا کنند، خرید کارت شتاب‌دهنده تخصصی معمولاً مزیت مشخصی نسبت به کارت گرافیک سازگار ندارد. علت اصلی این است که بسیاری از شتاب‌دهنده‌های کم‌مصرف از مدل‌ها و موتورهای پردازشی محدودتری پشتیبانی می‌کنند.

به عنوان مثال، اگر قصد دارید مدل‌های مختلف را مرتب دانلود و آزمایش کنید یا از ComfyUI برای تولید تصویر استفاده کنید، سازگاری نرم‌افزاری و مقدار حافظه گرافیکی اهمیت بیشتری از عدد TOPS دارند.

در مقابل، برای پروژه‌ای مانند تشخیص حرکت و شناسایی اشیا در دوربین‌های امنیتی، یک شتاب‌دهنده کم‌مصرف می‌تواند انتخاب مناسبی باشد؛ به‌خصوص زمانی که سیستم باید شبانه‌روزی روشن بماند.

پیش از خرید شتاب‌دهنده هوش مصنوعی بهتر است چند موضوع را بررسی کنید:

• سازگاری نرم‌افزار: مطمئن شوید مدل موردنظر با SDK و ابزارهای سازنده کارت سازگار است.
• پشتیبانی از سیستم‌عامل: بررسی کنید درایورهای لازم برای ویندوز یا لینوکس عرضه شده‌اند.
• حافظه موردنیاز: مشخص کنید مدل در حافظه در دسترس شتاب‌دهنده قابل اجرا است یا خیر.
• مصرف برق واقعی: توان مصرفی را هنگام اجرای پردازش موردنظر مقایسه کنید.
• قیمت تمام‌شده: هزینه کارت، تجهیزات جانبی و زمان لازم برای راه‌اندازی را در نظر بگیرید.

همچنین برخی پردازنده‌های جدید اینتل و AMD دارای NPU داخلی هستند. این واحدها برای اجرای بعضی قابلیت‌های هوش مصنوعی کم‌مصرف طراحی شده‌اند و ممکن است نیاز به خرید کارت توسعه جداگانه را کاهش دهند؛ البته پشتیبانی نرم‌افزار همچنان تعیین‌کننده است.

در مجموع، برای اجرای مدل‌های زبانی و تولید تصویر روی کامپیوتر شخصی، کارت گرافیک معمولاً انتخاب کاربردی‌تری است. شتاب‌دهنده‌های تخصصی بیشتر زمانی ارزش خرید دارند که مدل مشخصی را به‌صورت مداوم اجرا می‌کنید و کاهش مصرف انرژی یا ابعاد سخت‌افزار اهمیت بالایی دارد.

ساده‌گو