پوشیده نیست که خنکسازی مناسب، طول عمر را تضمین میکند و به سختافزار اجازه میدهد تا پتانسیل کامل خود را به نمایش بگذارد. اما وقتی صحبت از سختافزار هوش مصنوعی در مراکز داده میشود، خنکسازی مناسب همچنین به معنای عملکرد پایدار بالاتر است که مستقیماً به درآمدزایی برای مالکان تبدیل میشود. شرکت Frore Systems، سازنده راهکارهای خنککنندهای که با استفاده از ابزارهای در سطح نیمههادی ساخته شدهاند، به نظر میرسد ایدهای بینقص برای کاهش دمای شتابدهندههای هوش مصنوعی نسل بعدی و افزایش عملکرد آنها تا ۱۵ درصد در سر دارد.
شرکت Frore Systems هفته گذشته یک مقاله سفید (White Paper) منتشر کرد که نشان میدهد بهبود کل سیستم خنکسازی — از بستهبندی پردازنده گرافیکی (GPU Packaging) و مواد واسطه حرارتی (TIM) گرفته تا صفحات خنککننده (Coldplates) و دمای مایع خنککننده — میتواند تولید توکن بر وات را بیش از ۳۰ درصد افزایش دهد. در همین حال، یکی از برجستهترین پیشبینیهای این شرکت بر اساس یک مدل حرارتی تحلیلی این است که فناوری صفحه خنککننده LiquidJet به تنهایی میتواند دمای پیوند (Junction Temperature) پردازنده گرافیکی انویدیا روبین (Nvidia Rubin) را تا ۱۲ درجه سانتیگراد کاهش دهد، که این امر به بهبود ۱۰ تا ۲۵ درصدی در زمینه توکن بر وات تبدیل میشود، در حالی که کاهش ۱۰ درجهای میتواند تولید توکن را حدود ۱۵ درصد افزایش دهد.
در واقع، شتابدهندههای مدرن هوش مصنوعی، مانند پردازنده آینده انویدیا روبین، میتوانند تا ۲۴۰۰ وات گرما اتلاف کنند و دمای دای (Die) آنها بهآسانی میتواند به ۹۵ درجه سانتیگراد یا بیشتر برسد. اما در حالی که دمای ۹۵ درجه سانتیگراد لزوماً مشکلی برای طول عمر سیلیکون ایجاد نمیکند، جریان نشتی (Leakage Current) قطعا مشکلساز است. جریان نشتی با افزایش دما بهطور نمایی رشد میکند و به ازای هر ۱۰ درجه سانتیگراد افزایش در حداکثر دمای پیوند، تقریباً دو برابر میشود؛ این زمانی است که خود سوئیچینگ ترانزیستورها نیز کمبازدهتر میشود. در نتیجه، پردازندههای گرافیکی داغتر به ولتاژهای بالاتری برای حفظ فرکانس کلاک نیاز دارند که در نهایت سیستم را وادار میکند تا برای ماندن در محدوده حرارتی، از مقیاسگذاری پویا ولتاژ و فرکانس (DVFS) برای کاهش کلاک استفاده کند که این به نوبه خود عملکرد و تولید توکن را کاهش میدهد.
این وضعیت به یک نتیجه ساده ختم میشود: هرچه خنکسازی بهتر باشد، عملکرد و خروجی توکن بالاتر خواهد بود؛ که این موضوع به طور کلی درست است. با این حال، خنکسازی به این سادگی نیست، زیرا به عوامل متعددی بستگی دارد که میتوان آنها را بهینهسازی کرد. علاوه بر این، برای مراکز داده هوش مصنوعی، خنکسازی دیگر صرفاً راهی برای محافظت از پردازندههای مرکزی و شتابدهندهها در برابر داغ شدن بیش از حد نیست، بلکه در واقع راهی برای به حداکثر رساندن عملکرد و درآمدزایی آنها از طریق تولید توکن است.
انویدیا پلتفرمهای خود را حول محور دمای بحرانی Tj(max) طراحی میکند؛ این یکی از محدودیتهای اساسی طراحی برای پردازنده گرافیکی، بستهبندی و راهکار خنکسازی است. روند کار به این شکل است:
- انویدیا حداکثر دمای مجاز پیوند (محدودیت Tj,max) را تعیین میکند. این دمایی است که سیلیکون نباید در طول کارکرد عادی از آن فراتر رود. مقدار دقیق آن همیشه عمومی نیست، اما Frore در تحلیل خود از دمای ۹۵ درجه سانتیگراد برای روبین استفاده کرده است.
- پردازنده گرافیکی بهطور مداوم دمای پیوند خود را با استفاده از دهها یا صدها حسگر حرارتی روی دای مانیتور میکند، با این حال مدیریت توان، گرمترین منطقه را زیر نظر دارد.
- سیستم DVFS تلاش میکند تا ضمن ماندن در محدودههای حرارتی و توانی، عملکرد را به حداکثر برساند؛ بنابراین اگر پردازنده گرافیکی فضای سرریز حرارتی (Thermal Headroom) داشته باشد، میتواند کلاکهای بالاتر یا ولتاژ پایینتری را حفظ کند. اگر دمای پیوند افزایش یابد، میانافزار بهتدریج ولتاژ و فرکانس را تنظیم میکند. در صورت نیاز، سیستم برای جلوگیری از تجاوز از Tj(max)، فرکانس را محدود (Throttling) میکند.
مشکل اینجاست که پردازندههای گرافیکی تحت چندین محدودیت همزمان مانند محدودیت حرارتی (Tj,max)، محدودیت توان بسته، محدودیت جریان و محدودیت ولتاژ کار میکنند. معمولاً محدودیت توان زودتر از محدودیت حرارتی به دست میآید. در همین حال، سیستمهای خنککننده مدرن بهگونهای طراحی شدهاند که از رسیدن سیلیکون به Tj(max) جلوگیری کنند. بنابراین، حتی اگر پردازنده گرافیکی انویدیا هرگز به Tj(max) نرسد، کاهش دمای عملیاتی پیوند همچنان بهرهوری را بهبود میبخشد زیرا با کاهش دما، نشتی ترانزیستور کاهش مییابد. دقیقاً در اینجاست که شرکت Frore و سیستمهای خنککنندهاش وارد میدان میشوند.
به گفته Frore، توان نشتی به ازای هر ۱۰ درجه سانتیگراد افزایش در دمای پیوند تقریباً دو برابر میشود، در حالی که توان سوئیچینگ ترانزیستور در همان محدوده دمایی حدود ۲ درصد افزایش مییابد؛ بنابراین کاهش دماهای عملیاتی حتی زمانی که پردازنده دچار افت عملکرد حرارتی نشده است نیز مفید خواهد بود.
مقاومت حرارتی
به گفته Frore، حداکثر دمای پیوند پردازنده گرافیکی که توسط سازندگان سختافزار استفاده میشود، از یک معادله ساده هدایت میشود:
Tj(max) = Tinlet + Q × Rtotal
که در آن دمای ورودی مایع خنککننده، توان پردازنده گرافیکی و کل مقاومت حرارتی تعیین میکنند که سیلیکون چقدر میتواند داغ شود. در همین حال، مقاومت حرارتی کل به سه عنصر اصلی بستگی دارد: خود بسته پردازنده گرافیکی، ماده واسطه حرارتی بین بسته، و طراحی صفحه خنککننده. همانطور که هر لایه مقاومت حرارتی را اضافه میکند، دمای دای را افزایش داده و کل درآمدزایی توکن را کاهش میدهد. همانطور که در مقاله ذکر شده، مقاومت حرارتی به یک مشکل عمده تبدیل میشود.
Frore ادعا میکند که برداشتن قاب محافظ (Delidding) بسته روبین بهطور چشمگیری مقاومت حرارتی را کاهش میدهد (اگرچه این موضوع واضح است، اما باید دوباره اضافه کنم که این مقاله بر اساس یک مدل حرارتی تحلیلی است). طبق این مقاله، یک بسته روبین بدون قاب میتواند دمای پیوند را تا ۲۰ درجه سانتیگراد در مقایسه با بستهای که دارای پخشکننده حرارت یکپارچه (IHS) است کاهش دهد، که این امر بهطور بالقوه توان توکن بر وات را تا ۳۵ درصد بهبود میبخشد. البته معایبی نیز وجود دارد، زیرا پردازندههای گرافیکی بدون قاب دارای قابلیت اطمینان مکانیکی پایینتری هستند. در ادامه درباره آن صحبت خواهیم کرد. در هر صورت، ارائهدهندگان خدمات ابری وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش درآمد توکن خود علیرغم تمام خطرات بررسی میکنند.
نوآوری خود شرکت Frore البته صفحه خنککننده آن است. صفحات خنککننده معمولی معمولاً با استفاده از فرآیند ماشینکاری برشکاری (Skiving) ساخته میشوند که میکروکانالهای بلند و مستقیمی را در داخل یک بلوک مسی ایجاد میکند. در عوض، Frore تکنیکهای ساخت را از ساخت نیمههادیها — یعنی اچ کردن و پیوند دادن — قرض میگیرد تا میکروکانالهای مسی سهبعدی پیچیدهای بسازد که نقاط داغ روی سیلیکون شتابدهنده را هدف قرار میدهند. به گفته Frore، این میکروکانالهای منحصربهفرد را نمیتوان با استفاده از ماشینکاری سنتی، حداقل نه به روشی مقرونبهصرفه، تولید کرد.
بهبود بهرهوری
طراحی LiquidJet دارای میکروکانالهای کوتاهی است که در اطراف نقاط داغ اچ شدهاند، مراحل خنکسازی متعددی دارد و مسیر جریان آن برای نقشه چگالی توان پردازنده گرافیکی بهینهسازی شده است. طبق تحلیل این شرکت، این امر امکان کاهش ۶ تا ۱۲ درجهای دمای پیوند را فراهم کرده و توکن بر وات را در مورد پردازنده گرافیکی انویدیا روبین بین ۱۰ تا ۲۵ درصد بهبود میبخشد. این مقاله ادعا میکند که کاهش دمای تقریباً ۱۰ درجهای بنابرین با افزایش حدود ۱۵ درصدی در بهرهوری تولید توکن مطابقت خواهد داشت.
Frore استدلال میکند که بهرهوری بهتر صفحات خنککننده، اقتصاد خنکسازی تأسیسات را تغییر میدهد که بدیهیترین بخش مهم در نظر مراکز داده مقیاس بزرگ (Hyperscalers) است. انویدیا روبین را به گونهای طراحی کرده است که با مایع خنککنندهای با دمای ورودی تا ۴۵ درجه سانتیگراد کار کند، که این امر به بسیاری از مراکز داده هوش مصنوعی اجازه میدهد تا بدون چیلرهای مکانیکی و بهطور کامل به خنکسازی «رایگان» متکی باشند. در حالی که کاهش دمای ورودی میتواند بهرهوری پردازنده گرافیکی را بیشتر بهبود بخشد، این کار تنها زمانی از نظر اقتصادی منطقی است که انرژی مصرفشده توسط چیلرها با افزایش حاصل در درآمدزایی توکن جبران شود. در همین حال، از آنجا که LiquidJet برای حفظ همان دمای پیوند به دبی جریان مایع خنککننده کمتری نیاز دارد، ضریب عملکرد (COP) چیلر مورد نیاز برای خنکسازی اضافی را نیز کاهش میدهد تا ارزش توجیهی پیدا کند.
در مثال Frore، یک پردازنده گرافیکی روبین مجهز به صفحه خنککننده برشخورده سنتی به یک ضریب عملکرد چیلر در حدود ۶.۷ نیاز دارد تا مایع خنککننده سردتر بتواند یک مزیت بهرهوری خالص ارائه دهد، در حالی که LiquidJet نقطه سر بهسر COP را به حدود ۴.۱ کاهش میدهد که این امر چیلرهای مکانیکی را در استقرارهای مختلف از نظر اقتصادی جذاب میکند.
یک نکته جالب درباره تحلیل Frore این است که فناوری LiquidJet آن به دلیل چگالی ترانزیستور بالاتر، روی پردازندههای گرافیکی مرکز داده روبین در مقایسه با پردازندههای گرافیکی مرکز داده بلکول کارایی بیشتری دارد.
تحلیل Frore به بررسی مزایای سیستمهای خنککننده خودش محدود نمیشود، بنابراین مدل حرارتی تحلیلی این شرکت به روشهای دیگری که خنکسازی بهبودیافته و/یا کاهش مقاومت حرارتی میتواند بر دماها و در نتیجه درآمدزایی توکن تأثیر بگذارد نیز گسترش مییابد.
یکی از بارزترین ادشاهای Frore در مورد پردازنده روبین آینده انویدیا این است که برداشتن قاب محافظ پردازنده گرافیکی (برداشتن IHS و ماده واسطه حرارتی گرافن قرارگرفته بین دای و قاب) مقاومت حرارتی را بهطور چشمگیری کاهش میدهد و در نتیجه دمای پیوند را تا ۲۰ درجه سانتیگراد در مقایسه با پردازندههای گرافیکی معمولی دارای IHS کاهش میدهد؛ موضوعی که طبق مدل مورداستفاده Frore، توان توکن بر وات را تا ۳۵ درصد بهبود میبخشد.
در همین حال، قابلیت اطمینان مکانیکی به یک نگرانی عمده برای پردازندههای گرافیکی بدون قاب تبدیل میشود. بدون IHS، پردازنده گرافیکی برهنه روبین که با استفاده از فناوری CoWoS-L شرکت TSMC بستهبندی شده است، به طور قابل توجهی در برابر ترک خوردن پلهایی که دو دای روبین را به هم متصل میکنند، آسیبپذیرتر میشود. در واقع، حتی در دوران هاپر، برخی از پردازندههای گرافیکی به معنای واقعی کلمه با برخی خنککنندههای مایع ترک خوردند. علاوه بر این، حفظ فشار تماس یکنواخت در میان چندین دای در معرض دید، به طور قابل توجهی دشوارتر از پردازندههای یکپارچه (Monolithic) است. با این وجود، ارائهدهندگان خدمات ابری بزرگی وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش تولید توکن و خروجی درآمدی خود بررسی میکنند.
مواد واسطه حرارتی نقش مهمی به همان اندازه ایفا میکنند. طبق گزارشها، انویدیا روبین بهطور پیشفرض با استفاده از ماده واسطه حرارتی فلز ایندیوم مایع با سطوح تماس طلاکاریشده، جریمه حرارتی یک بسته قابدار را برطرف میکند. Frore استدلال میکند که یک بسته بدون قاب جفتشده با یک ماده تغییر فاز با عملکرد بالا مانند PTM7950 همچنان مقاومت حرارتی کلی کمتری نسبت به یک بسته قابدار با استفاده از فلز مایع از خود نشان میدهد که بر اساس مدل Frore، این امر به مزیت دمای پیوند تا ۱۴ درجه سانتیگراد و افزایش تا ۲۸ درصدی در توکن بر وات تبدیل میشود.
خلاصه
نکته کلیدی مقاله سفید Frore این است که خنکسازی به یک عامل تعیینکننده کلیدی در سودآوری مراکز داده هوش مصنوعی تبدیل شده است، زیرا دماهای پایینتر پیوند پردازنده گرافیکی به جای «فقط» جلوگیری از گرم شدن بیش از حد، بهرهوری تولید توکن را بهبود میبخشد.
در یک مقاله سفید بر اساس یک مدل حرارتی تحلیلی، این شرکت ادعا میکند که صفحه خنککننده LiquidJet آن میتواند دمای پیوند روبین انویدیا را ۶ تا ۱۲ درجه سانتیگراد کاهش دهد و توکن بر وات را ۱۰ تا ۲۵ درصد افزایش دهد، در حالی که کاهش ۱۰ درجهای میتواند تولید توکن را حدود ۱۵ درصد تقویت کند.
علاوه بر این، این شرکت استدلال میکند که صفحات خنککننده کارآمدتر، چیلرهای مکانیکی را در طيف وسیعتری از مراکز داده هوش مصنوعی از نظر اقتصادی قابل دوام میسازند زیرا بهرهوری سر بهسر چیلر مورد نیاز برای جبران مصرف توان خنکسازی را کاهش میدهند.
در نهایت، Frore ادعا میکند که برداشتن قاب روبین و بهینهسازی مواد واسطه حرارتی میتواند مقاومت حرارتی را بیشتر کاهش دهد و توکن بر وات را تا ۳۵ درصد بهبود بخشد، البته این امر به بهای ریسک مکانیکی بیشتر برای این شتابدهندهها تمام میشود.
*باید توجه داشت که تحلیل Frore بر اساس یک مدل حرارتی تحلیلی است و نه نتایج تجربی. این مقاله بر روی معادله مقاومت حرارتی (Tj = Tinlet + Q × Rtotal)، پارامترهای عملیاتی منتشرشده یا فرضشده برای پردازنده گرافیکی روبین انویدیا، و برآوردهای خود شرکت از نحوه تأثیرگذاری طراحیهای مختلف صفحه خنککننده بر مقاومت حرارتی بنا شده است.