این موضوع پوشیده نیست که خنکسازی مناسب، طول عمر را تضمین کرده و به سختافزار اجازه میدهد تا پتانسیل کامل خود را به نمایش بگذارد. اما وقتی صحبت از سختافزار هوش مصنوعی در مراکز داده به میان میآید، خنکسازی مناسب همچنین به معنای عملکرد پایدارتر است که مستقیماً به درآمد کسبشده توسطowner (مالک) تبدیل میشود. شرکت فری سیستمز (Frore Systems)، سازنده راهکارهای خنککنندهای که با استفاده از ابزارهای در سطح نیمههادی ساخته شدهاند، به نظر میرسد ایدهای بینقص برای کاهش دمای شتابدهندههای هوش مصنوعی نسل بعدی و افزایش عملکرد آنها تا ۱۵ درصد در سر دارد.
شرکت فری سیستمز هفته گذشته مقاله سفیدی (white paper) منتشر کرد که نشان میدهد بهبود کل پشته خنکسازی — از بستهبندی پردازنده گرافیکی و مواد رابط حرارتی (TIMs) گرفته تا صفحات سرد (coldplates) و دمای مایع خنککننده — میتواند تولید توکن به ازای هر وات را بیش از ۳۰ درصد افزایش دهد. در همین حال، یکی از برجستهترین پیشبینیهای این شرکت بر اساس یک مدل حرارتی تحلیلی* این است که فناوری صفحه سرد LiquidJet به تنهایی میتواند دمای اتصال پردازنده گرافیکی روبین انویدیا را تا ۱۲ درجه سانتیگراد کاهش دهد که این امر به بهبود ۱۰ تا ۲۵ درصدی در توکن بر وات منجر میشود، در حالی که کاهش ۱۰ درجهای میتواند تولید توکن را حدود ۱۵ درصد افزایش دهد.
در واقع، شتابدهندههای مدرن هوش مصنوعی، مانند روبین آینده انویدیا، میتوانند تا ۲۴۰۰ وات توان تلف کنند و دمای دای (die) آنها میتواند به راحتی به ۹۵ درجه سانتیگراد یا بیشتر برسد. اما در حالی که ۹۵ درجه سانتیگراد لزوماً مشکلی برای طول عمر سیلیکون ایجاد نمیکند، جریان نشتی (leakage current) قطعاً مشکلساز است. جریان نشتی به طور تصاعدی با دما افزایش مییابد و به ازای هر ۱۰ درجه سانتیگراد افزایش در حداکثر دمای اتصال، تقریباً دو برابر میشود؛ یعنی زمانی که خود سوئیچینگ ترانزیستور نیز کارایی کمتری پیدا میکند. در نتیجه، پردازندههای گرافیکی داغتر به ولتاژهای بالاتری برای حفظ کلاکها نیاز دارند که در نهایت مقیاسپذیری پویا ولتاژ و فرکانس (DVFS) را مجبور میکند برای ماندن در محدودههای حرارتی، کلاکها را کاهش دهد و این به نوبه خود عملکرد و تولید توکن را کاهش خواهد داد.
این موارد همگی به یک نتیجه ساده ختم میشوند: هرچه خنکسازی بهتر باشد، عملکرد و خروجی توکن بالاتر خواهد بود که عموماً درست است. با این حال، خنکسازی به آن سادگیها نیست، زیرا به عوامل متعددی بستگی دارد که میتوان آنها را بهینهسازی کرد. علاوه بر این، برای مراکز داده هوش مصنوعی، خنکسازی دیگر صرفاً راهی برای محافظت از پردازندههای مرکزی و شتابدهندهها در برابر داغ شدن بیش از حد نیست، بلکه در واقع روشی برای به حداکثر رساندن عملکرد و درآمدزایی توکن آنها است.
انویدیا پلتفرمهای خود را پیرامون دمای Tj(max) طراحی میکند؛ این یکی از محدودیتهای اساسی طراحی برای پردازنده گرافیکی، بستهبندی و راهکار خنکسازی است. روند کار به این شکل است:
- انویدیا حداکثر دمای اتصال مجاز (محدوده Tj,max) را تعیین میکند. این دمایی است که سیلیکون نباید در طول عملکرد عادی از آن تجاوز کند. مقدار دقیق همیشه عمومی نیست، اما فری از ۹۵ درجه سانتیگراد برای روبین در تحلیل خود استفاده میکند.
- پردازنده گرافیکی به طور مداوم دمای اتصال خود را با استفاده از دهها یا صدها حسگر حرارتی روی دای مانیتور میکند، با این حال مدیریت توان، گرمترین منطقه را زیر نظر دارد.
- سیستم DVFS تلاش میکند در عین ماندن زیر محدودههای حرارتی و توانی، عملکرد را به حداکثر برساند، بنابراین اگر پردازنده گرافیکی فضای سر حرارتی داشته باشد، میتواند کلاکهای بالاتر یا ولتاژ پایینتری را حفظ کند. اگر دمای اتصال افزایش یابد، میانافزار به تدریج ولتاژ و فرکانس را تنظیم میکند. در صورت نیاز، برای جلوگیری از تجاوز از Tj(max)، فرکانس را کاهش (throttling) میدهد.
مشکل اینجاست که پردازندههای گرافیکی تحت چندین محدودیت همزمان کار میکنند، از جمله محدودیت حرارتی (Tj(max))، محدودیت توان بسته، محدودیت جریان و محدودیت ولتاژ. معمولاً توان پیش از دما به حد نهایت میرسد. در همین حال، سیستمهای خنککننده مدرن به گونهای طراحی شدهاند که از رسیدن سیلیکون به Tj(max) جلوگیری کنند. بنابراین، حتی اگر پردازنده گرافیکی انویدیا هرگز به Tj(max) نرسد، کاهش دمای اتصال عملیاتی همچنان کارایی را بهبود میبخشد زیرا نشتی ترانزیستور با کاهش دما افت میکند. اینجاست که فری و سیستمهای خنککننده آن وارد عمل میشوند.
به گفته فری، توان نشتی به ازای هر ۱۰ درجه سانتیگراد افزایش در دمای اتصال تقریباً دو برابر میشود، در حالی که توان سوئیچینگ ترانزیستور در همان بازه دمایی حدود ۲ درصد افزایش مییابد؛ بنابراین کاهش دماهای عملیاتی حتی زمانی که پردازنده دچار افت حرارتی نمیشود نیز مفید است.
مقاومت حرارتی
به گفته فری، حداکثر دمای اتصال پردازنده گرافیکی که توسط سازندگان سختافزار استفاده میشود، از یک معادله به ظاهر ساده هدایت میشود:
Tj(max) = Tinlet + Q × Rtotal
که در آن دمای ورودی مایع خنککننده، توان پردازنده گرافیکی و کل مقاومت حرارتی تعیین میکنند که سیلیکون چقدر میتواند داغ شود. در همین حال، کل مقاومت حرارتی به سه عنصر اصلی بستگی دارد: خود بسته پردازنده گرافیکی، ماده رابط حرارتی بین بسته و طراحی صفحه سرد. از آنجا که هر لایه مقاومت حرارتی را اضافه میکند، دمای دای را افزایش داده و کل درآمدزایی توکن را کاهش میدهد. همانطور که در مقاله آمده است، مقاومت حرارتی به یک مشکل عمده تبدیل میشود.
فری ادعا میکند که جداسازی قاب محافظ بسته روبین (delidding) مقاومت حرارتی را به شدت کاهش میدهد (در حالی که این امر واضح است، باید دوباره اضافه کنم که این مقاله بر اساس یک مدل حرارتی تحلیلی* است). بر اساس این مقاله، یک بسته روبین بدون قاب میتواند دمای اتصال را تا ۲۰ درجه سانتیگراد در مقایسه با بستهای که دارای پخشکننده حرارت یکپارچه (IHS) است کاهش دهد، که به طور بالقوه توکن بر وات را تا ۳۵ درصد بهبود میبخشد. البته معایبی نیز وجود دارد، زیرا پردازندههای گرافیکی بدون قاب دارای قابلیت اطمینان مکانیکی پایینتری هستند. در ادامه بیشتر درباره آن صحبت خواهیم کرد. در هر صورت، ارائهدهندگان خدمات ابری وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش درآمد توکن خود علیرغم تمام خطرات بررسی میکنند.
مشارکت خود فری البته صفحه سرد آن است. صفحات سرد مرسوم معمولاً با استفاده از ماشینکاری تراششی (skiving) ساخته میشوند که میکروکانالهای بلند و مستقیمی را در داخل یک بلوک مس ایجاد میکند. در عوض، فری تکنیکهای ساخت را از ساخت نیمههادیها قرض میگیرد — اچ کردن و اتصال (etching and bonding) — تا ریزساختارهای مسی سهبعدی پیچیدهای بسازد که نقاط داغ (hotspots) روی سیلیکون شتابدهنده را هدف قرار میدهند. به گفته فری، این ریزساختارهای منحصربهفرد را نمیتوان با استفاده از ماشینکاری سنتی، حداقل نه به شکل مقرونبهصرفه، تولید کرد.
بهبود کارایی
طراحی LiquidJet دارای میکروکانالهای کوتاهی است که در اطراف نقاط داغ اچ شدهاند، چند مرحله خنکسازی و مسیریابی جریان که برای نقشه چگالی توان پردازنده گرافیکی بهینهسازی شده است. بر اساس تحلیل این شرکت، این امر امکان کاهش ۶ تا ۱۲ درجهای دمای اتصال را فراهم کرده و کارایی توکن بر وات را در مورد پردازنده گرافیکی روبین انویدیا بین ۱۰ تا ۲۵ درصد بهبود میبخشد*. این مقاله ادعا میکند که کاهش دمای تقریباً ۱۰ درجهای بنابراین با افزایشی حدود ۱۵ درصدی در کارایی تولید توکن مطابقت خواهد داشت.
فری استدلال میکند که بهبود کارایی صفحه سرد، اقتصاد خنکسازی تأسیسات را تغییر میدهد که آشکارترین بخش در محاسبات ارائهدهندگان مقیاس بزرگ (hyperscalers) است. انویدیا روبین را طوری طراحی کرده است که با مایع خنککنندهای با دمای ورودی تا ۴۵ درجه سانتیگراد کار کند، که این امکان را به بسیاری از مراکز داده هوش مصنوعی میدهد تا بدون چیلرهای مکانیکی، کاملاً به خنکسازی «رایگان» تکیه کنند. در حالی که کاهش دمای ورودی میتواند کارایی پردازنده گرافیکی را بیشتر بهبود بخشد، انجام این کار تنها در صورتی از نظر اقتصادی منطقی است که انرژی مصرفشده توسط چیلرها با افزایش حاصل در درآمدزایی توکن جبران شود. در همین حال، از آنجا که LiquidJet برای حفظ همان دمای اتصال به دبی جریان مایع خنککننده کمتری نیاز دارد، ضریب عملکرد (COP) چیلر مورد نیاز برای خنکسازی اضافی را نیز کاهش میدهد تا ارزشمند شود.
در مثال فری، یک پردازنده گرافیکی روبین مجهز به صفحه سرد تراشخورده سنتی به ضریب عملکرد چیلر تقریباً ۶.۷ نیاز دارد قبل از اینکه مایع خنککننده سردتر مزیت کارایی خالص را ارائه دهد، در حالی که LiquidJet ضریب عملکرد سر به سر را به حدود ۴.۱ کاهش میدهد، که خنکسازی مکانیکی را در استقرارهای مختلف از نظر اقتصادی جذاب میکند.
یک نکته جالب در مورد تحلیل فری این است که فناوری LiquidJet روی پردازندههای گرافیکی مراکز داده روبین در مقایسه با پردازندههای گرافیکی مراکز داده بلکول (Blackwell) به دلیل چگالی ترانزیستور بالاتر اولی، کارایی بیشتری دارد.
تحلیل فری به بررسی مزایای سیستمهای خنککننده خودش محدود نمیشود، بنابراین مدل حرارتی تحلیلی این شرکت به روشهای دیگری که خنکسازی بهبودیافته و/یا مقاومت حرارتی کاهشیافته میتوانند بر دماها و در نتیجه درآمدزایی توکن تأثیر بگذارند، گسترش مییابد.
یکی از چشمگیرترین ادعاهای فری در رابطه با روبین آینده انویدیا این است که فری ادعا میکند جداسازی قاب بسته پردازنده گرافیکی — حذف IHS و ماده رابط حرارتی گرافن قرار گرفته بین دای و قاب — مقاومت حرارتی را به شدت کاهش میدهد، که در نتیجه دمای اتصال را تا ۲۰ درجه سانتیگراد در مقایسه با پردازندههای گرافیکی معمولی دارای IHS کاهش میدهد و بر اساس مدل مورداستفاده توسط فری، توکن بر وات را تا ۳۵ درصد بهبود میبخشد.
در همین حال، قابلیت اطمینان مکانیکی به یک نگرانی عمده برای پردازندههای گرافیکی بدون قاب تبدیل میشود. بدون قاب IHS، پردازنده گرافیکی برهنه روبین که با استفاده از فناوری CoWoS-L شرکت TSMC بستهبندی شده است، به طور قابل توجهی در برابر ترک خوردن پلهایی که دو دای روبین را به هم متصل میکنند، آسیبپذیرتر میشود. در واقع، حتی در دوران هاپر (Hopper)، برخی از پردازندههای گرافیکی به معنای واقعی کلام با برخی از خنککنندههای مایع ترک خوردند. علاوه بر این، حفظ فشار تماس یکنواخت در چندین دای آشکار به طور قابل توجهی دشوارتر از پردازندههای یکپارچه (monolithic) است. با این وجود، ارائهدهندگان مقیاس بزرگی وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش تولید توکن و خروجی درآمد خود بررسی میکنند.
مواد رابط حرارتی نقش به همان اندازه مهمی ایفا میکنند. به طور پیشفرض، روبین انویدیا ظاهراً با استفاده از مواد رابط حرارتی فلز ایندیوم مایع با سطوح تماس طلاکاریشده، جریمه حرارتی یک بسته قابدار را برطرف میکند. فری استدلال میکند که یک بسته بدون قاب جفتشده با یک ماده تغییر فاز با عملکرد بالا مانند PTM7950 همچنان مقاومت حرارتی کلی کمتری نسبت به یک بسته قابدار با استفاده از فلز مایع از خود نشان میدهد، که بر اساس مدل فری، به مزیت دمای اتصال تا ۱۴ درجه سانتیگراد و افزایش تا ۲۸ درصدی توکن بر وات تبدیل میشود.
خلاصه
نکته کلیدی مقاله سفید فری این است که خنکسازی به یک عامل تعیینکننده کلیدی در سودآوری مراکز داده هوش مصنوعی تبدیل شده است، زیرا دماهای پایینتر اتصال پردازنده گرافیکی به جای «فقط» جلوگیری از داغ شدن بیش از حد، کارایی تولید توکن را بهبود میبخشد.
در یک مقاله سفید بر اساس یک مدل حرارتی تحلیلی، این شرکت ادعا میکند که صفحه سرد LiquidJet آن میتواند دمای اتصال روبین انویدیا را ۶ تا ۱۲ درجه سانتیگراد کاهش دهد و توکن بر وات را ۱۰ تا ۲۵ درصد افزایش دهد، در حالی که کاهش ۱۰ درجهای میتواند تولید توکن را حدود ۱۵ درصد تقویت کند.
علاوه بر این، این شرکت استدلال میکند که صفحات سرد کارآمدتر، خنکسازی مکانیکی را در طیف وسیعتری از مراکز داده هوش مصنوعی از نظر اقتصادی امکانپذیر میکنند، زیرا کارایی سر به سر چیلر مورد نیاز برای جبران مصرف برق خنکسازی را کاهش میدهند.
در نهایت، فری ادعا میکند که جداسازی قاب روبین و بهینهسازی مواد رابط حرارتی میتواند مقاومت حرارتی را بیشتر کاهش داده و توکن بر وات را تا ۳۵ درصد بهبود بخشد، البته با این هزینه که خطر مکانیکی بیشتری برای این شتابدهندهها به همراه دارد.
*باید توجه داشت که تحلیل فری بر اساس یک مدل حرارتی تحلیلی است و نه نتایج تجربی. این مقاله بر روی معادله مقاومت حرارتی (Tj = Tinlet + Q × Rtotal)، پارامترهای عملیاتی منتشرشده یا فرضشده برای پردازنده گرافیکی روبین انویدیا و تخمینهای خود شرکت از تأثیر طراحیهای مختلف صفحه سرد بر مقاومت حرارتی ساخته شده است.