این موضوع پوشیده نیست که خنکسازی مناسب، طول عمر را تضمین میکند و به سختافزار اجازه میدهد تا پتانسیل کامل خود را به نمایش بگذارد. اما وقتی صحبت از سختافزار هوش مصنوعی در مراکز داده به میان میآید، خنکسازی مناسب همچنین به معنای عملکرد پایدارتر است که مستقیماً به درآمد بیشتر برای مالک آن تبدیل میشود. شرکت فری سیستمز (Frore Systems)، سازنده راهکارهای خنککنندهای که با استفاده از ابزارهای در سطح نیمههادی ساخته شدهاند، به نظر میرسد ایده کاملاً مناسبی برای کاهش دمای شتابدهندههای هوش مصنوعی نسل بعدی و افزایش عملکرد آنها تا ۱۵ درصد دارد.
شرکت فری سیستمز هفته گذشته یک وایتپپر (white paper) منتشر کرد که نشان میدهد بهبودهای کل چرخه خنکسازی — از بستهبندی پردازنده گرافیکی و مواد رابط حرارتی (TIMs) گرفته تا صفحات سرد (coldplates) و دمای خنککننده — میتواند تولید توکن بر وات را بیش از ۳۰ درصد افزایش دهد. در همین حال، یکی از جسورانهترین پیشبینیهای این شرکت بر اساس یک مدل حرارتی تحلیلی این است که فناوری صفحه سرد LiquidJet به تنهایی میتواند دمای اتصال (junction temperatures) پردازنده گرافیکی روبین انویدیا (Nvidia Rubin GPU) را تا ۱۲ درجه سانتیگراد کاهش دهد که این امر به بهبودی ۱۰ تا ۲۵ درصدی در زمینه توکن بر وات منجر میشود، در حالی که کاهش ۱۰ درجه سانتیگرادی میتواند تولید توکن را حدود ۱۵ درصد افزایش دهد.
در واقع، شتابدهندههای مدرن هوش مصنوعی، مانند پردازنده روبین آینده انویدیا، میتوانند تا ۲۴۰۰ وات توان تلف کنند و دمای دای (die) آنها به راحتی میتواند به ۹۵ درجه سانتیگراد یا بیشتر برسد. اما در حالی که ۹۵ درجه سانتیگراد لزوماً مشکلی برای طول عمر سیلیکون ایجاد نمیکند، جریان نشت (leakage current) قطعا مشکلساز است. جریان نشت به صورت نمایی با دما افزایش مییابد و به ازای هر ۱۰ درجه سانتیگراد افزایش در حداکثر دمای اتصال، تقریباً دو برابر میشود؛ یعنی زمانی که خود سوئیچینگ ترانزیستور نیز کمتر کارآمد میشود. در نتیجه، پردازندههای گرافیکی داغتر برای حفظ کلاکها به ولتاژهای بالاتری نیاز دارند که در نهایت مقیاسپذیری پویا ولتاژ و فرکانس (DVFS) را مجبور میکند کلاکها را کاهش دهد تا در محدوده حرارتی باقی بمانند که این امر به نوبه خود عملکرد و تولید توکن را کاهش خواهد داد.
این همه ماجرا به یک نتیجه ساده ختم میشود: هرچه خنکسازی بهتر باشد، عملکرد و خروجی توکن بالاتر خواهد رفت. که البته بهطور کلی درست است. با این حال، خنکسازی به این سادگی نیست، زیرا به عوامل متعددی بستگی دارد که میتوان آنها را بهینهسازی کرد. علاوه بر این، برای مراکز داده هوش مصنوعی، خنکسازی دیگر صرفاً راهی برای محافظت از پردازندهها و شتابدهندهها در برابر گرمای بیش از حد نیست، بلکه در واقع راهی برای به حداکثر رساندن عملکرد و درآمدزایی آنها از طریق تولید توکن است.
انویدیا پلتفرمهای خود را حول دمای Tj(max) طراحی میکند؛ این یکی از محدودیتهای طراحی اساسی برای پردازنده گرافیکی، بسته و راهکار خنکسازی است. روند کار به این شکل است:
- انویدیا حداکثر دمای اتصال مجاز (حد Tj,max) را مشخص میکند. این دمایی است که سیلیکون نباید در طول عملکرد عادی از آن تجاوز کند. مقدار دقیق آن همیشه عمومی نیست، اما فری در تحلیل خود از ۹۵ درجه سانتیگراد برای روبین استفاده میکند.
- پردازنده گرافیکی به طور مداوم دمای اتصال خود را با استفاده از دهها یا صدها حسگر حرارتی روی دای مانیتور میکند، اما مدیریت توان، گرمترین منطقه را زیر نظر دارد.
- سیستم DVFS تلاش میکند عملکرد را به حداکثر برساند در حالی که زیر محدودیتهای حرارتی و توانی باقی میماند، بنابراین اگر پردازنده گرافیکی فضای هدایت حرارتی (thermal headroom) داشته باشد، میتواند کلاکهای بالاتر یا ولتاژ پایینتر را حفظ کند. اگر دمای اتصال افزایش یابد، فریمور به تدریج ولتاژ و فرکانس را تنظیم میکند. در صورت لزوم، برای جلوگیری از تجاوز از Tj(max)، فرکانس را کاهش میدهد (throttling).
مشکل این است که پردازندههای گرافیکی تحت چندین محدودیت همزمان عمل میکنند، مانند محدودیت حرارتی (Tj(max))، محدودیت توان بسته، محدودیت جریان و محدودیت ولتاژ. معمولاً توان قبل از گرما به حدنصاب میرسد. در همین حال، سیستمهای خنککننده مدرن به گونهای طراحی شدهاند که از رسیدن سیلیکون به Tj(max) جلوگیری کنند. بنابراین، حتی اگر پردازنده گرافیکی انویدیا هرگز به Tj(max) نرسد، کاهش دمای اتصال عملیاتی همچنان بهرهوری را بهبود میبخشد زیرا با کاهش دما، نشت ترانزیستور نیز کاهش مییابد. اینجاست که فری و سیستمهای خنککننده آن وارد عمل میشوند.
به گفته فری، توان نشتی به ازای هر ۱۰ درجه سانتیگراد افزایش در دمای اتصال تقریباً دو برابر میشود، در حالی که توان سوئیچینگ ترانزیستور در همان بازه دمایی حدود ۲ درصد افزایش مییابد، بنابراین کاهش دماهای عملیاتی حتی زمانی که پردازنده دچار افت حرارتی (thermal throttling) نشده است نیز مفید میباشد.
مقاومت حرارتی
به گفته فری، حداکثر دمای اتصال پردازنده گرافیکی که توسط سازندگان سختافزار استفاده میشود، از یک معادله به ظاهر ساده هدایت میشود:
Tj(max) = Tinlet + Q × Rtotal
که در آن دمای ورودی خنککننده، توان پردازنده گرافیکی و کل مقاومت حرارتی مشخص میکنند که سیلیکون چقدر میتواند داغ شود. در همین حال، کل مقاومت حرارتی به سه عنصر اصلی بستگی دارد: خود بسته پردازنده گرافیکی، ماده رابط حرارتی بین بسته، و طراحی صفحه سرد. از آنجا که هر لایه مقاومت حرارتی را افزایش میدهد، دمای دای را بالا برده و درآمد کلی تولید توکن را کاهش میدهد. همانطور که در این مقاله آمده است، مقاومت حرارتی به یک مشکل بزرگ تبدیل میشود.
فری ادعا میکند که جداسازی قاب محافظ از بسته روبین (delidding) مقاومت حرارتی را به شدت کاهش میدهد (در حالی که این موضوع آشکار است، باید دوباره اضافه کنم که این مقاله بر اساس یک مدل حرارتی تحلیلی است). طبق این مقاله، یک بسته روبین بدون قاب محافظ میتواند دمای اتصال را تا ۲۰ درجه سانتیگراد در مقایسه با بسته دارای پخشکننده حرارتی یکپارچه (IHS) کاهش دهد که به طور بالقوه توکن بر وات را تا ۳۵ درصد بهبود میبخشد. البته، معایبی نیز وجود دارد، زیرا پردازندههای گرافیکی بدون قاب محافظ قابلیت اطمینان مکانیکی کمتری دارند. بعداً در مورد آن صحبت خواهیم کرد. در هر صورت، ارائهدهندگان خدمات ابری وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب محافظ را برای افزایش درآمد تولید توکن علیرغم تمام خطرات بررسی میکنند.
سهم خود فری البته صفحه سرد آن است. صفحات سرد معمولی معمولاً با استفاده از برشکاری (skiving)، یک فرآیند ماشینکاری که میکروکانالهای بلند و مستقیم را در داخل یک بلوک مس ایجاد میکند، ساخته میشوند. در عوض، فری تکنیکهای ساخت را از ساخت نیمههادیها — اچ کردن و اتصال — قرض میگیرد تا ریزساختارهای مسی سهبعدی پیچیدهای بسازد که نقاط داغ (hotspots) روی سیلیکون شتابدهنده را هدف قرار میدهند. به گفته فری، این ریزساختارهای منحصر به فرد را نمیتوان با استفاده از ماشینکاری سنتی تولید کرد، حداقل نه به شکل مقرونبهصرفه.
بهبود بهرهوری
طراحی LiquidJet داراي میکروکانالهای کوتاهی است که در اطراف نقاط داغ اچ شدهاند، چند مرحله خنکسازی و مسیریابی جریان که برای نقشه چگالی توان پردازنده گرافیکی بهینهسازی شده است. بر اساس تحلیل این شرکت، این امر امکان کاهش ۶ تا ۱۲ درجه سانتیگرادی در دمای اتصال را فراهم میکند و بهرهوری توکن بر وات را در مورد پردازنده گرافیکی روبین انویدیا ۱۰ تا ۲۵ درصد بهبود میبخشد. این مقاله ادعا میکند که کاهش دمای تقریباً ۱۰ درجه سانتیگرادی بنابراین با افزایش حدود ۱۵ درصدی در بهرهوری تولید توکن مطابقت خواهد داشت.
فری استدلال میکند که بهرهوری بهبودیافته صفحه سرد، اقتصاد خنکسازی تأسیسات را تغییر میدهد که بدیهیترین بخش مهم در ملاحظات مقیاسکنندگان بزرگ (hyperscalers) است. انویدیا روبین را به گونهای طراحی کرده است که با خنککنندهای که با دمای تا ۴۵ درجه سانتیگراد وارد میشود کار کند، که این امر بسیاری از مراکز داده هوش مصنوعی را قادر میسازد تا بدون چیلرهای مکانیکی، کاملاً به خنکسازی «رایگان» متکی باشند. در حالی که کاهش دمای ورودی میتواند بهرهوری پردازنده گرافیکی را بیشتر بهبود بخشد، انجام این کار تنها در صورتی منطقی اقتصادی دارد که انرژی مصرف شده توسط چیلرها با افزایش حاصل در درآمد تولید توکن جبران شود. در همین حال، از آنجا که LiquidJet برای حفظ همان دمای اتصال به دبی جریان خنککننده کمتری نیاز دارد، ضریب عملکرد (COP) چیلر مورد نیاز برای خنکسازی اضافی را نیز کاهش میدهد تا ارزش پیدا کند.
در مثال فری، یک پردازنده گرافیکی روبین مجهز به صفحه سرد برشخورده سنتی به یک ضریب عملکرد چیلر حدود ۶.۷ نیاز دارد تا خنککننده سردتر مزیت بهرهوری خالص را ارائه دهد، در حالی که LiquidJet ضریب عملکرد سر به سر (break-even COP) را به حدود ۴.۱ کاهش میدهد، که خنکسازی مکانیکی را در استقرارهای مختلف از نظر اقتصادی جذاب میکند.
یک نکته جالب در مورد تحلیل فری این است که LiquidJet به دلیل چگالی ترانزیستور بالاتر در پردازندههای گرافیکی مراکز داده روبین، در مقایسه با پردازندههای گرافیکی مراکز داده بلکول (Blackwell)، بهرهوری بیشتری دارد.
تحلیل فری به بررسی مزایای سیستمهای خنککننده خود محدود نمیشود، بنابراین مدل حرارتی تحلیلی این شرکت به ابزارهای دیگری نیز تسری مییابد که به واسطه آنها خنکسازی بهبودیافته و/یا مقاومت حرارتی کاهشیافته میتواند بر دماها و در نتیجه بر درآمد تولید توکن تأثیر بگذارد.
یکی از برجستهترین ادشاهای فری در رابطه با پردازنده روبین آینده انویدیا این است که فری ادعا میکند برداشتن قاب محافظ بسته پردازنده گرافیکی (delidding) — یعنی خارج کردن IHS و ماده رابط حرارتی گرافن قرار گرفته بین دای و قاب — مقاومت حرارتی را به شدت کاهش میدهد، که در نتیجه دمای اتصال را تا ۲۰ درجه سانتیگراد در مقایسه با پردازندههای گرافیکی معمولی دارای IHS کاهش میدهد و بنابراین بر اساس مدل استفاده شده توسط فری، توکن بر وات را تا ۳۵ درصد بهبود میبخشد.
در همین حال، قابلیت اطمینان مکانیکی به یک نگرانی عمده برای پردازندههای گرافیکی بدون قاب محافظ تبدیل میشود. بدون IHS، پردازنده گرافیکی برهنه روبین که با استفاده از فناوری CoWoS-L شرکت TSMC بستهبندی شده است، به طور قابلتوجهی در برابر ترک خوردن پلهایی که دو دای روبین را به هم متصل میکنند، آسیبپذیرتر میشود. در واقع، حتی در دوران هاپر (Hopper)، برخی از پردازندههای گرافیکی به معنای واقعی کلمه با برخی خنککنندههای مایع ترک خوردند. علاوه بر این، حفظ فشار تماس یکنواخت در چندین دای برهنه به طور قابلتوجهی دشوارتر از پردازندههای یکپارچه (monolithic) است. با این وجود، مقیاسکنندگان بزرگی وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب محافظ را برای افزایش تولید توکن و خروجی درآمد خود بررسی میکنند.
مواد رابط حرارتی نقش به همان اندازه مهمی ایفا میکنند. به طور پیشفرض، گزارش شده است که روبین انویدیا جریمه حرارتی یک بسته دارای قاب محافظ را با استفاده از ماده رابط حرارتی فلز ایندیوم مایع با سطوح تماس طلاکاریشده برطرف میکند. فری استدلال میکند که یک بسته بدون قاب محافظ همراه با یک ماده تغییر فاز با عملکرد بالا مانند PTM7950 همچنان مقاومت حرارتی کلی کمتری نسبت به یک بسته دارای قاب محافظ با استفاده از فلز مایع از خود نشان میدهد، که بر اساس مدل فری، به مزیت دمای اتصال تا ۱۴ درجه سانتیگراد و افزایش تا ۲۸ درصدی در توکن بر وات تبدیل میشود.
خلاصه
نکته کلیدی وایتپپر فری این است که خنکسازی به یک عامل تعیینکننده کلیدی در سودآوری مراکز داده هوش مصنوعی تبدیل شده است، زیرا دماهای پایینتر اتصال پردازنده گرافیکی به جای «فقط» جلوگیری از گرمای بیش از حد، بهرهوری تولید توکن را بهبود میبخشد.
در یک وایتپپر بر اساس یک مدل حرارتی تحلیلی، این شرکت ادعا میکند که صفحه سرد LiquidJet آن میتواند دمای اتصال روبین انویدیا را ۶ تا ۱۲ درجه سانتیگراد کاهش دهد و توکن بر وات را ۱۰ تا ۲۵ درصد افزایش دهد، در حالی که کاهش ۱۰ درجه سانتیگرادی میتواند تولید توکن را حدود ۱۵ درصد تقویت کند.
علاوه بر این، این شرکت استدلال میکند که صفحات سرد کارآمدتر، خنکسازی مکانیکی را در طیف وسیع تری از مراکز داده هوش مصنوعی از نظر اقتصادی مقرونبهصرفه میسازند، زیرا بهرهوری سر به سر چیلر مورد نیاز برای جبران مصرف برق خنکسازی را کاهش میدهد.
در نهایت، فری ادعا میکند که برداشتن قاب محافظ روبین و بهینهسازی مواد رابط حرارتی میتواند مقاومت حرارتی را بیشتر کاهش دهد و توکن بر وات را تا ۳۵ درصد بهبود بخشد، البته به قیمت ریسک مکانیکی بیشتر برای این شتابدهندهها.
*باید توجه داشت که تحلیل فری بر اساس یک مدل حرارتی تحلیلی است و نه نتایج تجربی. این مقاله بر روی معادله مقاومت حرارتی (Tj = Tinlet + Q × Rtotal)، پارامترهای عملیاتی منتشر شده یا فرضشده برای پردازنده گرافیکی روبین انویدیا، و تخمینهای خود شرکت از نحوه تأثیرگذاری طراحیهای مختلف صفحه سرد بر مقاومت حرارتی ساخته شده است.