کاهش چشمگیر مصرف انرژی هوش مصنوعی با روش جدید

کارشناسان دانشگاه فنی مونیخ (TUM) موفق به توسعه روشی شده‌اند که سرعت آموزش شبکه‌های عصبی را تا ۱۰۰ برابر افزایش می‌دهد، در حالی که دقت آن همچنان در سطح روش‌های موجود باقی می‌ماند. این پیشرفت می‌تواند به میزان قابل توجهی مصرف انرژی را در فرایند آموزش مدل‌های هوش مصنوعی کاهش دهد.

SuperMUC-NG که در مرکز محاسبات فوق‌سریع Leibniz قرار دارد، هشتمین ابررایانه سریع جهان محسوب می‌شود. اعتبار عکس: ورونیکا هوهنگر، LRZ

افزایش مصرف انرژی مراکز داده با گسترش هوش مصنوعی

کاربردهای هوش مصنوعی مانند مدل‌های زبانی بزرگ (LLM) به بخش مهمی از زندگی روزمره ما تبدیل شده‌اند. مراکز داده، که پردازش، ذخیره‌سازی و انتقال داده‌های این سیستم‌ها را انجام می‌دهند، حجم عظیمی از انرژی مصرف می‌کنند. به عنوان مثال، مصرف انرژی مراکز داده در آلمان در سال ۲۰۲۰ حدود ۱۶ میلیارد کیلووات ساعت بوده است که ۱٪ از کل مصرف انرژی این کشور را شامل می‌شود. پیش‌بینی‌ها نشان می‌دهد که این رقم تا سال ۲۰۲۵ به ۲۲ میلیارد کیلووات ساعت افزایش خواهد یافت.

با ورود کاربردهای پیچیده‌تر هوش مصنوعی در سال‌های آینده، نیاز به ظرفیت پردازشی بیشتری در مراکز داده ایجاد خواهد شد. فرآیند آموزش شبکه‌های عصبی، که انرژی زیادی مصرف می‌کند، یکی از مهم‌ترین چالش‌های این حوزه است. اما پژوهشگران دانشگاه فنی مونیخ (TUM) موفق به توسعه روشی جدید برای آموزش مدل‌های هوش مصنوعی شده‌اند که ۱۰۰ برابر سریع‌تر از روش‌های فعلی است و تأثیر بسزایی در کاهش مصرف انرژی خواهد داشت.

ارائه روش جدید در کنفرانس NeurIPS 2024

این پژوهشگران نتایج تحقیقات خود را در کنفرانس پردازش اطلاعات عصبی (NeurIPS 2024) که در ونکوور از ۱۰ تا ۱۵ دسامبر برگزار شد، ارائه کردند.

ساختار شبکه‌های عصبی و چالش‌های آموزشی

شبکه‌های عصبی مصنوعی که برای وظایفی مانند پردازش تصویر و زبان به کار می‌روند، از نحوه عملکرد مغز انسان الهام گرفته‌اند. این شبکه‌ها از گره‌هایی به نام نورون مصنوعی تشکیل شده‌اند که ورودی‌های خود را با ضرایب مشخصی وزن‌دهی کرده و سپس آن‌ها را جمع می‌کنند. اگر مجموع این مقادیر از یک آستانه مشخص بیشتر شود، سیگنال به گره بعدی منتقل می‌شود.

در روش‌های سنتی، مقدار اولیه این ضرایب به‌صورت تصادفی (مثلاً بر اساس توزیع نرمال) انتخاب می‌شود و سپس در طی چندین مرحله تکراری تنظیم می‌شوند تا عملکرد مدل بهبود یابد. با توجه به تعداد بالای این تکرارها، فرایند آموزش مدل‌های هوش مصنوعی بسیار انرژی‌بر است.

روش جدید: انتخاب ضرایب بر اساس احتمالات

فلیکس دیتریش، استاد یادگیری ماشینی مبتنی بر فیزیک، و تیم او روش جدیدی برای تعیین ضرایب بین گره‌های شبکه عصبی ارائه کرده‌اند. برخلاف روش‌های مرسوم که به‌صورت تکراری ضرایب را تنظیم می‌کنند، روش جدید از یک مدل احتمالاتی استفاده می‌کند.

این روش بر انتخاب مقادیر در نقاط بحرانی داده‌های آموزشی تمرکز دارد؛ یعنی نقاطی که در آن‌ها تغییرات شدید و سریع رخ می‌دهد. این تکنیک به پژوهشگران اجازه می‌دهد تا سیستم‌های دینامیکی صرفه‌جو در انرژی را از داده‌ها استخراج کنند. چنین سیستم‌هایی در مدل‌های آب‌وهوایی و بازارهای مالی کاربرد دارند.

کاهش مصرف انرژی در آموزش شبکه‌های عصبی

“روش ما امکان تعیین ضرایب مورد نیاز را با حداقل توان محاسباتی فراهم می‌کند. این موضوع باعث می‌شود که آموزش شبکه‌های عصبی بسیار سریع‌تر و در نتیجه، انرژی‌کاراتر باشد.”

— فلیکس دیتریش

وی افزود: “همچنین مشاهده کرده‌ایم که دقت این روش جدید با دقت شبکه‌هایی که به روش‌های تکراری آموزش دیده‌اند، قابل مقایسه است.”

این پیشرفت می‌تواند به کاهش چشمگیر مصرف انرژی در حوزه هوش مصنوعی منجر شود و نقش مهمی در توسعه پایدار فناوری‌های هوشمند داشته باشد.