این یک راز نیست که خنکسازی مناسب، ماندگاری را تضمین کرده و سختافزار را قادر میسازد تا پتانسیل کامل خود را به نمایش بگذارد. اما وقتی صحبت از سختافزار هوش مصنوعی مراکز داده به میان میآید، خنکسازی مناسب همچنین به معنای عملکرد پایدارتر است که مستقیماً به درآمدزایی برای مالک تبدیل میشود. شرکت فرور سیستمز (Frore Systems) که سازنده راهکارهای خنککننده با استفاده از ابزارهای درجه نیمههادی است، به نظر میرسد ایدهای بینقص برای کاهش دمای شتابدهندههای هوش مصنوعی نسل بعدی و افزایش عملکرد آنها تا ۱۵ درصد در چنته دارد.
هفته گذشته، فرور سیستمز مقالهای سفید (White Paper) منتشر کرد که پیشنهاد میکند بهبودهای کل پشته خنکسازی — از بستهبندی پردازنده گرافیکی و مواد رابط حرارتی (TIM) گرفته تا صفحات سرد (Coldplates) و دمای مایع خنککننده — میتواند تولید توکن بر وات را بیش از ۳۰ درصد افزایش دهد. در همین حال، یکی از جسورانهترین پیشبینیهای این شرکت بر اساس یک مدل حرارتی تحلیلی* این است که فناوری صفحه سرد LiquidJet به تنهایی میتواند دمای پیوند (Junction Temperature) پردازنده گرافیکی انویدیا روبین (Nvidia Rubin) را تا ۱۲ درجه سانتیگراد کاهش دهد، که به معنای بهبود ۱۰ تا ۲۵ درصدی در شاخص توکن بر وات است؛ در حالی که کاهش ۱۰ درجهای میتواند تولید توکن را حدود ۱۵ درصد افزایش دهد.
در واقع، شتابدهندههای مدرن هوش مصنوعی، مانند پردازنده روبین آینده انویدیا، میتوانند تا ۲۴۰۰ وات توان تلف کنند و دمای دای (Die) آنها میتواند به راحتی به ۹۵ درجه سانتیگراد یا بالاتر برسد. اما در حالی که ۹۵ درجه سانتیگراد لزوماً برای طول عمر سیلیکون مشکلی ایجاد نمیکند، جریان نشتی (Leakage Current) قطعا مشکلساز است. جریان نشتی به صورت نمایی با افزایش دما رشد میکند و به ازای هر ۱۰ درجه سانتیگراد افزایش در حداکثر دمای پیوند، تقریبا دو برابر میشود؛ که در این حالت تعویض ترانزیستورها نیز کارایی کمتری پیدا میکند. در نتیجه، پردازندههای گرافیکی داغتر به ولتاژهای بالاتری برای حفظ فرکانسها نیاز دارند که در نهایت مقیاسگذاری پویا ولتاژ و فرکانس (DVFS) را ناچار میسازد فرکانسها را کاهش دهد تا در محدودههای حرارتی باقی بمانند، که این امر به نوبه خود عملکرد و تولید توکن را کاهش میدهد.
همه اینها به یک نتیجه ساده ختم میشود: هرچه خنکسازی بهتر باشد، عملکرد و خروجی توکن بالاتر خواهد رفت که عموماً درست است. با این حال، خنکسازی به این سادگی نیست، زیرا به عوامل متعددی بستگی دارد که میتوانند بهینهسازی شوند. علاوه بر این، برای مراکز داده هوش مصنوعی، خنکسازی دیگر صرفاً راهی برای محافظت از پردازندههای مرکزی و شتابدهندهها در برابر داغ شدن بیش از حد نیست، بلکه در واقع راهی برای به حداکثر رساندن عملکرد و درآمدزایی آنها از طریق تولید توکن است.
انویدیا پلتفرمهای خود را بر اساس دمای بیشینه پیوند (Tj,max) طراحی میکند؛ این یکی از محدودیتهای اساسی طراحی برای پردازنده گرافیکی، بسته و راهکار خنکسازی است. روند کار به این شکل است:
- انویدیا حداکثر دمای مجاز پیوند را مشخص میکند. این دمایی است که سیلیکون در طول عملکرد عادی نباید از آن تجاوز کند. مقدار دقیق آن همیشه عمومی نیست، اما فرور در تحلیل خود از رقم ۹۵ درجه سانتیگراد برای روبین استفاده میکند.
- پردازنده گرافیکی بهطور مداوم دمای پیوند خود را با استفاده از دهها یا صدها حسگر حرارتی روی دای مانیتور میکند، اما مدیریت توان داغترین ناحیه را تحت نظر دارد.
- سیستم DVFS تلاش میکند ضمن ماندن در زیر محدودههای حرارتی و توانی، عملکرد را به حداکثر برساند، بنابراین اگر پردازنده گرافیکی فضای حرارتی آزادی داشته باشد، میتواند فرکانسهای بالاتر یا ولتاژ پایینتری را حفظ کند. اگر دمای پیوند افزایش یابد، میانافزار بهتدریج ولتاژ و فرکانس را تنظیم میکند. در صورت نیاز، سیستم برای جلوگیری از تجاوز از حد بیشینه پیوند، فرکانس را محدود (Throttling) میکند.
مشکل اینجازست که پردازندههای گرافیکی تحت چندین محدودیت همزمان مانند حد حرارتی، حد توان بسته، حد جریان و حد ولتاژ کار میکنند. معمولاً محدودیت توان زودتر از محدودیت حرارتی فرا میرسد. در همین حال، سیستمهای خنککننده مدرن به گونهای طراحی شدهاند که از رسیدن سیلیکون به حد بیشینه پیوند جلوگیری کنند. بنابراین، حتی اگر پردازنده گرافیکی انویدیا هرگز به این حد نرسد، کاهش دمای عملیاتی پیوند همچنان بهرهوری را بهبود میبخشد زیرا با کاهش دما، نشتی ترانزیستور کاهش مییابد. اینجاست که فرور و سیستمهای خنککنندهاش وارد عمل میشوند.
به گفته فرور، توان نشتی به ازای هر ۱۰ درجه سانتیگراد افزایش دمای پیوند تقریباً دو برابر میشود، در حالی که توان سوئیچینگ ترانزیستور در همان بازه دمایی حدود ۲ درصد افزایش مییابد؛ بنابراین کاهش دماهای عملیاتی حتی زمانی که پردازنده دچار افت عملکرد حرارتی نشده است نیز مفید خواهد بود.
مقاومت حرارتی
به گفته فرور، حداکثر دمای پیوند پردازنده گرافیکی که توسط سازندگان سختافزار استفاده میشود، از یک معادله به ظاهر ساده پیروی میکند:
Tj(max) = Tinlet + Q × Rtotal
که در آن دمای ورودی مایع خنککننده، توان پردازنده گرافیکی و کل مقاومت حرارتی تعیین میکنند که سیلیکون چقدر داغ شود. در همین حال، کل مقاومت حرارتی به سه عنصر اصلی بستگی دارد: خود بسته پردازنده گرافیکی، ماده رابط حرارتی بین بسته و طراحی صفحه سرد. از آنجا که هر لایه مقاومت حرارتی را افزایش میدهد، باعث افزایش دمای دای و کاهش درآمد کلی تولید توکن میشود. با این اوصاف، طبق مقاله، مقاومت حرارتی به یک مشکل بزرگ تبدیل میشود.
فرور ادعا میکند که جداسازی قاب محافظ از بسته روبین (Delidding)، مقاومت حرارتی را به شدت کاهش میدهد (اگرچه این موضوع آشکار است، اما باید دوباره اضافه کنم که این مقاله بر اساس یک مدل حرارتی تحلیلی است*). بر اساس این مقاله، یک بسته روبین بدون قاب میتواند دمای پیوند را تا ۲۰ درجه سانتیگراد در مقایسه با بسته دارای پخشکننده حرارتی یکپارچه (IHS) کاهش دهد که این امر بهطور بالقوه شاخص توکن بر وات را تا ۳۵ درصد بهبود میبخشد. البته معایبی نیز وجود دارد، زیرا پردازندههای گرافیکی بدون قاب از قابلیت اطمینان مکانیکی پایینتری برخوردارند. در ادامه به این موضوع خواهیم پرداخت. در هر صورت، ارائهدهندگان خدمات ابری وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش درآمد توکن خود علیرغم تمام خطرات بررسی میکنند.
سهم خود فرور البته در زمینه صفحه سرد آن است. صفحات سرد مرسوم معمولاً با استفاده از فرآیند ماشینکاری تراششی (Skiving) ساخته میشوند که میکروکانالهای بلند و مستقیمی را در داخل یک بلوک مس ایجاد میکند. در مقابل، فرور از تکنیکهای ساخت نیمههادی یعنی اچ کردن (Etching) و پیوند دادن (Bonding) برای ساخت ریزساختارهای مسی سهبعدی پیچیده استفاده میکند که نقاط داغ (Hotspots) روی سیلیکون شتابدهنده را هدف قرار میدهند. به گفته فرور، این ریزساختارهای منحصربهفرد را نمیتوان با ماشینکاری سنتی، حداقل نه به صورت مقرونبهصرفه، تولید کرد.
بهبود بهرهوری
طراحی LiquidJet دارای میکروکانالهای کوتاهی است که در اطراف نقاط داغ اچ شدهاند، چند مرحله خنکسازی و مسیریابی جریان که برای نقشه چگالی توان پردازنده گرافیکی بهینهسازی شده است. بر اساس تحلیل این شرکت، این امر امکان کاهش ۶ تا ۱۲ درجهای دمای پیوند را فراهم کرده و شاخص توکن بر وات را در مورد پردازنده گرافیکی انویدیا روبین ۱۰ تا ۲۵ درصد بهبود میبخشد*. بنابراین، کاهش دمای حدود ۱۰ درجهای با افزایش حدود ۱۵ درصدی در بهرهوری تولید توکن مطابقت دارد.
فرور استدلال میکند که بهبود بهرهوری صفحه سرد، اقتصاد خنکسازی تأسیسات را تغییر میدهد که بدیهیترین بخش مهم در تصمیمگیری شرکتهای بزرگ (Hyperscalers) است. انویدیا پردازنده روبین را به گونهای طراحی کرده است که با ورود مایع خنککننده با دمای تا ۴۵ درجه سانتیگراد کار کند، که این امر به بسیاری از مراکز داده هوش مصنوعی اجازه میدهد تا بدون چیلرهای مکانیکی، کاملاً به خنکسازی «رایگان» تکیه کنند. در حالی که کاهش دمای ورودی میتواند بهرهوری پردازنده گرافیکی را بیشتر بهبود بخشد، این کار تنها زمانی از نظر اقتصادی منطقی است که انرژی مصرفشده توسط چیلرها با افزایش حاصل در درآمد تولید توکن جبران شود. در همین حال، از آنجا که LiquidJet برای حفظ همان دمای پیوند به دبی جریان کمتری از مایع خنککننده نیاز دارد، ضریب عملکرد چیلر (COP) مورد نیاز برای خنکسازی اضافی را نیز کاهش میدهد تا ارزش اقتصادی پیدا کند.
در مثال فرور، یک پردازنده گرافیکی روبین مجهز به صفحه سرد تراشخورده سنتی به ضریب عملکرد چیلر تقریباً ۶.۷ نیاز دارد تا مایع خنککننده سردتر مزیت بهرهوری خالص را ارائه دهد، در حالی که LiquidJet نقطه سربهسر ضریب عملکرد را به حدود ۴.۱ کاهش میدهد که این امر خنکسازی مکانیکی را در استقرارهای مختلف از نظر اقتصادی جذاب میسازد.
یک نکته جالب درباره تحلیل فرور این است که فناوری LiquidJet روی پردازندههای گرافیکی مراکز داده روبین در مقایسه با پردازندههای گرافیکی مراکز داده بلکول به دلیل چگالی ترانزیستور بالاتر در مدل اول، بهرهوری بیشتری دارد.
تحلیل فرور به بررسی مزایای سیستمهای خنککننده خودش ختم نمیشود، بنابراین مدل حرارتی تحلیلی این شرکت به ابزارهای دیگری نیز تسری مییابد که به واسطه آنها بهبود خنکسازی و/یا کاهش مقاومت حرارتی میتواند بر دماها و در نتیجه بر درآمد تولید توکن تأثیر بگذارد.
یکی از قابلتوجهترین ادعاهای فرور در خصوص پردازنده روبین آینده انویدیا این است که برداشتن قاب محافظ بسته پردازنده گرافیکی — یعنی حذف IHS و ماده رابط حرارتی گرافنی قرارگرفته بین دای و قاب — مقاومت حرارتی را به طرز چشمگیری کاهش میدهد، که در نتیجه دمای پیوند را تا ۲۰ درجه سانتیگراد در مقایسه با پردازندههای گرافیکی معمولی دارای IHS کاهش میدهد و طبق مدل مورداستفاده فرور، بهرهوری توکن بر وات را تا ۳۵ درصد بهبود میبخشد.
در همین حال، قابلیت اطمینان مکانیکی به یک نگرانی عمده برای پردازندههای گرافیکی بدون قاب تبدیل میشود. بدون قاب IHS، پردازنده گرافیکی برهنه روبین که با استفاده از فناوری CoWoS-L شرکت تیاسامسی (TSMC) بستهبندی شده است، در برابر ترک خوردن پلهای اتصالدهنده دو دای روبین به طور قابلتوجهی آسیبپذیرتر میشود. در واقع، حتی در دوران هاپر، برخی از پردازندههای گرافیکی به معنای واقعی کلمه با برخی خنککنندههای مایع ترک خوردند. علاوه بر این، حفظ فشار تماس یکنواخت در سراسر چندین دای عریان بهطور قابلتوجهی دشوارتر از پردازندههای یکپارچه (Monolithic) است. با این وجود، ارائهدهندگان خدمات ابری بزرگی وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش تولید توکن و خروجی درآمد خود بررسی میکنند.
مواد رابط حرارتی نقش به همان اندازه مهمی ایفا میکنند. به طور پیشفرض، پردازنده روبین انویدیا ظاهراً با استفاده از ماده رابط حرارتی فلز ایندیوم مایع با سطوح تماس طلاکاریشده، جریمه حرارتی بسته دارای قاب را جبران میکند. فرور استدلال میکند که یک بسته بدون قاب جفتشده با یک ماده تغییر فاز با عملکرد بالا مانند PTM7950 همچنان مقاومت حرارتی کلی پایینتری نسبت به بسته دارای قاب با استفاده از فلز مایع از خود نشان میدهد که بر اساس مدل فرور، به مزیت دمای پیوند تا ۱۴ درجه سانتیگراد و افزایش تا ۲۸ درصدی توکن بر وات منجر میشود.
خلاصه
نکته کلیدی مقاله سفید فرور این است که خنکسازی به عامل تعیینکنندهای در سودآوری مراکز داده هوش مصنوعی تبدیل شده است، زیرا دمای پایینتر پیوند پردازنده گرافیکی به جای «فقط» جلوگیری از داغ شدن بیش از حد، بهرهوری تولید توکن را بهبود میبخشد.
این شرکت در مقالهای سفید که بر اساس یک مدل حرارتی تحلیلی تهیه شده است، ادعا میکند که صفحه سرد LiquidJet آن میتواند دمای پیوند پردازنده روبین انویدیا را ۶ تا ۱۲ درجه سانتیگراد کاهش داده و شاخص توکن بر وات را ۱۰ تا ۲۵ درصد افزایش دهد، در حالی که کاهش ۱۰ درجهای میتواند تولید توکن را حدود ۱۵ درصد تقویت کند.
علاوه بر این، این شرکت استدلال میکند که صفحات سرد کارآمدتر، خنکسازی مکانیکی را در طیف وسیعتری از مراکز داده هوش مصنوعی از نظر اقتصادی امکانپذیر میسازند؛ زیرا کارایی سربهسر چیلر مورد نیاز برای جبران مصرف برق خنکسازی را کاهش میدهند.
در نهایت، فرور ادعا میکند که برداشتن قاب روبین و بهینهسازی مواد رابط حرارتی میتواند مقاومت حرارتی را بیشتر کاهش داده و توکن بر وات را تا ۳۵ درصد بهبود بخشد، البته این کار با هزینه افزایش ریسک مکانیکی برای این شتابدهندهها همراه است.
*باید توجه داشت که تحلیل فرور بر اساس یک مدل حرارتی تحلیلی و نه نتایج تجربی انجام شده است. این مقاله بر پایه معادله مقاومت حرارتی (Tj = Tinlet + Q × Rtotal)، پارامترهای عملیاتی منتشرشده یا فرضشده برای پردازنده گرافیکی روبین انویدیا و برآوردهای خود شرکت از تأثیر طراحیهای مختلف صفحه سرد بر مقاومت حرارتی ساخته شده است.