این موضوع رازی نیست که خنکسازی مناسب، طول عمر را تضمین میکند و به سختافزار امکان میدهد پتانسیل کامل خود را به نمایش بگذارد. اما وقتی صحبت از سختافزار هوش مصنوعی در مراکز داده میشود، خنکسازی مناسب همچنین به معنای عملکرد پایدارتر است که مستقیماً به درآمد کسبشده توسط مالک تبدیل میشود. شرکت فری سیستمز (Frore Systems)، سازنده راهکارهای خنکسازی که با استفاده از ابزارهای در درجه نیمههادی ساخته شدهاند، به نظر میرسد ایدهای عالی برای کاهش دمای شتابدهندههای هوش مصنوعی نسل بعدی و افزایش عملکرد آنها تا ۱۵ درصد دارد.
شرکت فری سیستمز هفته گذشته مقاله سفیدی را منتشر کرد که نشان میدهد بهبود کل پشته خنکسازی - از بستهبندی پردازنده گرافیکی و مواد رابط حرارتی (TIMs) گرفته تا صفحات سرد (coldplates) و دمای مایع خنککننده - میتواند تولید توکن بر وات را بیش از ۳۰ درصد افزایش دهد. در همین حال، یکی از جسورانهترین پیشبینیهای این شرکت بر اساس یک مدل حرارتی تحلیلی این است که فناوری صفحه سرد LiquidJet به تنهایی میتواند دمای اتصال پردازنده گرافیکی روبین (Rubin) انویدیا (Nvidia) را تا ۱۲ درجه سانتیگراد کاهش دهد، که این امر به بهبود ۱۰ تا ۲۵ درصدی در توکنها بر وات تبدیل میشود، در حالی که کاهش ۱۰ درجه سانتیگرادی میتواند تولید توکن را حدود ۱۵ درصد افزایش دهد.
در واقع، شتابدهندههای مدرن هوش مصنوعی، مانند روبین آینده انویدیا، میتوانند تا ۲۴۰۰ وات توان تلف کنند و دمای دای (die) آنها به راحتی میتواند به ۹۵ درجه سانتیگراد یا بیشتر برسد. اما در حالی که ۹۵ درجه سانتیگراد لزوماً مشکلی برای طول عمر سیلیکون ایجاد نمیکند، جریان نشت (leakage current) قطعا مشکلساز است. جریان نشت به طور نمایی با دما افزایش مییابد و به ازای هر ۱۰ درجه سانتیگراد افزایش حداکثر دمای اتصال، تقریباً دو برابر میشود، که در این زمان خود سوئیچینگ ترانزیستور نیز کمتر کارآمد میشود. در نتیجه، پردازندههای گرافیکی داغتر برای حفظ کلاکها به ولتاژهای بالاتری نیاز دارند که در نهایت مقیاسگذاری پویا ولتاژ و فرکانس (DVFS) را مجبور میکند کلاکها را کاهش دهد تا در محدوده حرارتی باقی بمانند، که به نوبه خود عملکرد و تولید توکن را کاهش میدهد.
این همه به یک نتیجه ساده ختم میشود: هرچه خنکسازی بهتر باشد، عملکرد و خروجی توکن بیشتر خواهد بود. که به طور کلی درست است. با این حال، خنکسازی به این سادگی نیست، زیرا به عوامل متعددی بستگی دارد که میتوانند بهینهسازی شوند. علاوه بر این، برای مراکز داده هوش مصنوعی، خنکسازی دیگر صرفاً راهی برای جلوگیری از داغ شدن بیش از حد پردازندههای مرکزی و شتابدهندهها نیست، بلکه در واقع راهی برای به حداکثر رساندن عملکرد و درآمدزایی توکن آنها است.
انویدیا پلتفرمهای خود را پیرامون دمای Tj(max) طراحی میکند؛ این یکی از محدودیتهای طراحی اساسی برای پردازنده گرافیکی، پکیج و راهکار خنکسازی است. این کار به این صورت عمل میکند:
- انویدیا حداکثر دمای اتصال مجاز (حد Tj,max) را مشخص میکند. این دمایی است که سیلیکون نباید در طول کارکرد عادی از آن فراتر رود. مقدار دقیق آن همیشه عمومی نیست، اما فری از ۹۵ درجه سانتیگراد برای روبین در تحلیل خود استفاده میکند.
- پردازنده گرافیکی به طور مداوم دمای اتصال خود را با استفاده از دهها یا صدها حسگر حرارتی روی دای نظارت میکند، در حالی که مدیریت توان گرمترین ناحیه را زیر نظر دارد.
- سیستم DVFS تلاش میکند عملکرد را به حداکثر برساند در حالی که زیر محدودیتهای حرارتی و توانی باقی میماند، بنابراین اگر پردازنده گرافیکی فضای سر حرارتی داشته باشد، میتواند کلاکهای بالاتر یا ولتاژ پایینتر را حفظ کند. اگر دمای اتصال افزایش یابد، میانافزار به تدریج ولتاژ و فرکانس را تنظیم میکند. در صورت نیاز، برای جلوگیری از عبور از Tj(max) دریچهبندی (throttling) میکند.
مشکل این است که پردازندههای گرافیکی تحت چندین محدودیت همزمان کار میکنند، مانند محدودیت حرارتی (Tj,max)، محدودیت توان پکیج، محدودیت جریان و محدودیت ولتاژ. معمولاً توان زودتر از گرما به حد نصاب میرسد. در همین حال، سیستمهای خنککننده مدرن برای جلوگیری از رسیدن سیلیکون به Tj(max) طراحی شدهاند. بنابراین، حتی اگر پردازنده گرافیکی انویدیا هرگز به Tj(max) نرسد، کاهش دمای اتصال در حال کار همچنان بهرهوری را بهبود میبخشد زیرا نشت ترانزیستور با کاهش دما کاهش مییابد. اینجاست که فری و سیستمهای خنککننده آن وارد عمل میشوند.
به گفته فری، توان نشتی به ازای هر ۱۰ درجه سانتیگراد افزایش دمای اتصال تقریباً دو برابر میشود، در حالی که توان سوئیچینگ ترانزیستور در همان محدوده دمایی حدود ۲ درصد افزایش مییابد، بنابراین کاهش دمای کارکرد حتی زمانی که پردازنده از نظر حرارتی دچار افت عملکرد نیست، مفید است.
مقاومت حرارتی
به گفته فری، حداکثر دمای اتصال پردازنده گرافیکی که توسط سازندگان سختافزار استفاده میشود، با یک معادله به ظاهر ساده هدایت میشود:
Tj(max) = Tinlet + Q × Rtotal
که در آن دمای ورودی مایع خنککننده، توان پردازنده گرافیکی و کل مقاومت حرارتی تعیین میکنند که سیلیکون چقدر میتواند داغ شود. در همین حال، کل مقاومت حرارتی به سه عنصر اصلی بستگی دارد: خود پکیج پردازنده گرافیکی، ماده رابط حرارتی بین پکیج و طراحی صفحه سرد. از آنجایی که هر لایه مقاومت حرارتی را اضافه میکند، دمای دای را افزایش داده و تولید کلی توکن را کاهش میدهد. همانطور که گفته شد، طبق این مقاله، مقاومت حرارتی به یک مشکل بزرگ تبدیل میشود.
فری ادعا میکند که برداشتن قاب محافظ (delidding) پکیج روبین، مقاومت حرارتی را به شدت کاهش میدهد (در حالی که این موضوع آشکار است، باید دوباره اضافه کنم که این مقاله بر اساس یک مدل حرارتی تحلیلی است). طبق این مقاله، یک پکیج روبین بدون قاب میتواند دمای اتصال را تا ۲۰ درجه سانتیگراد در مقایسه با پکیجی که دارای پخشکننده حرارت یکپارچه (IHS) است کاهش دهد، که به طور بالقوه توکنها بر وات را تا ۳۵ درصد بهبود میبخشد. البته، معایبی نیز وجود دارد، زیرا پردازندههای گرافیکی بدون قاب دارای قابلیت اطمینان مکانیکی پایینتری هستند. ما بعداً در مورد آن صحبت خواهیم کرد. در هر صورت، ارائهدهندگان خدمات ابری وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش درآمد توکن خود علیرغم تمام خطرات بررسی میکنند، به گفته فری.
سهم خود فری البته صفحه سرد آن است. صفحات سرد معمولی معمولاً با استفاده از برشکاری (skiving)، یک فرآیند ماشینکاری که میکروکانالهای بلند و مستقیم را در داخل یک بلوک مس ایجاد میکند، ساخته میشوند. در عوض، فری تکنیکهای ساخت را از ساخت نیمههادی - اچ کردن و اتصال - قرض میگیرد تا ریزساختارهای مسی سهبعدی پیچیدهای بسازد که نقاط داغ روی سیلیکون شتابدهنده را هدف قرار میدهند. به گفته فری، این ریزساختارهای منحصر به فرد را نمیتوان با استفاده از ماشینکاری سنتی، حداقل نه به روشی مقرونبهصرفه، تولید کرد.
بهبود بهرهوری
طراحی LiquidJet دارای میکروکانالهای کوتاهی است که در اطراف نقاط داغ اچ شدهاند، چند مرحله خنکسازی و مسیریابی جریان که برای نقشه چگالی توان پردازنده گرافیکی بهینهسازی شده است. بر اساس تحلیل این شرکت، این امر امکان کاهش ۶ تا ۱۲ درجه سانتیگراد در دمای اتصال را فراهم میکند و توکنها بر وات را در مورد پردازنده گرافیکی روبین انویدیا ۱۰ تا ۲۵ درصد بهبود میبخشد. این مقاله ادعا میکند که کاهش دمای تقریباً ۱۰ درجه سانتیگرادی بنابراین با حدود ۱۵ درصد افزایش در بهرهوری تولید توکن مطابقت دارد.
فری استدلال میکند که بهرهوری بهبودیافته صفحه سرد، اقتصاد خنکسازی تأسیسات را تغییر میدهد که بدیهی است مهمترین بخش در بررسی مقیاسدهندگان بزرگ (hyperscalers) است. انویدیا روبین را طوری طراحی کرده است که با مایع خنککنندهای که با دمای حداکثر ۴۵ درجه سانتیگراد وارد میشود کار کند، که به بسیاری از مراکز داده هوش مصنوعی اجازه میدهد بدون چیلرهای مکانیکی کاملاً به خنکسازی «رایگان» اتکا کنند. در حالی که کاهش دمای ورودی میتواند بهرهوری پردازنده گرافیکی را بیشتر بهبود بخشد، انجام این کار فقط در صورتی منطقی اقتصادی دارد که انرژی مصرف شده توسط چیلرها با افزایش حاصل در تولید توکن جبران شود. در همین حال، از آنجایی که LiquidJet برای حفظ همان دمای اتصال به دبی جریان مایع خنککننده کمتری نیاز دارد، ضریب عملکرد (COP) چیلر مورد نیاز برای خنکسازی اضافی را نیز کاهش میدهد تا ارزش پیدا کند.
در مثال فری، یک پردازنده گرافیکی روبین مجهز به صفحه سرد برشخورده سنتی به یک COP چیلر تقریباً ۶.۷ نیاز دارد قبل از اینکه مایع خنککننده سردتر مزیت بهرهوری خالص را ارائه دهد، در حالی که LiquidJet COP سر به سر (break-even) را به حدود ۴.۱ کاهش میدهد، که خنکسازی مکانیکی را در استقرارهای مختلف از نظر اقتصادی جذاب میکند.
یک نکته جالب در مورد تحلیل فری این است که LiquidJet آن در مقایسه با پردازندههای گرافیکی مراکز داده بلکول (Blackwell)، به دلیل چگالی بالاتر ترانزیستور در پردازندههای گرافیکی مراکز داده روبین، کارآمدتر است.
تحلیل فری به بررسی مزایای سیستمهای خنککننده خود محدود نمیشود، بنابراین مدل حرارتی تحلیلی این شرکت به سایر وسایلی که توسط آنها خنکسازی بهبودیافته و/یا مقاومت حرارتی کاهشیافته میتواند بر دما و در نتیجه درآمد توکن تأثیر بگذارد، گسترش مییابد.
یکی از برجستهترین ادعاهای فری در رابطه با روبین آینده انویدیا این است که فری ادعا میکند برداشتن قاب پکیج پردازنده گرافیکی - برداشتن IHS و TIM گرافن قرار گرفته بین دای و قاب - مقاومت حرارتی را به شدت کاهش میدهد، که در نتیجه دمای اتصال را تا ۲۰ درجه سانتیگراد در مقایسه با پردازندههای گرافیکی معمولی با IHS کاهش میدهد، و بنابراین طبق مدل استفاده شده توسط فری، توکنها بر وات را تا ۳۵ درصد بهبود میبخشد.
در همین حال، قابلیت اطمینان مکانیکی به یک نگرانی عمده برای پردازندههای گرافیکی بدون قاب تبدیل میشود. بدون IHS، پردازنده گرافیکی برهنه روبین که با استفاده از فناوری CoWoS-L تیاسامسی (TSMC) بستهبندی شده است، به طور قابلتوجهی در برابر ترک خوردن پلهایی که دو دای روبین را به هم متصل میکنند، آسیبپذیرتر میشود. در واقع، حتی در دوران هاپر (Hopper)، برخی از پردازندههای گرافیکی به معنای واقعی کلمه با برخی خنککنندههای مایع ترک خوردند. علاوه بر این، حفظ فشار تماس یکنواخت در چندین دایِ در معرض دید، به طور قابلتوجهی دشوارتر از پردازندههای یکپارچه است. با این وجود، مقیاسدهندگان بزرگی وجود دارند که استفاده از پردازندههای گرافیکی روبین بدون قاب را برای افزایش تولید توکن و خروجی پول بررسی میکنند.
مواد رابط حرارتی نقش مهمی به همان اندازه ایفا میکنند. به طور پیشفرض، طبق گزارشها، روبین انویدیا با استفاده از TIM فلز ایندیوم مایع با سطوح تماس طلاکاریشده، جریمه حرارتی یک پکیج قابدار را برطرف میکند. فری استدلال میکند که یک پکیج بدون قاب جفتشده با یک ماده تغییر فاز با عملکرد بالا مانند PTM7950 همچنان مقاومت حرارتی کلی کمتری نسبت به یک پکیج قابدار با استفاده از فلز مایع نشان میدهد که طبق مدل فری، به مزیتی تا ۱۴ درجه سانتیگراد در دمای اتصال و تا ۲۸ درصد افزایش در توکنها بر وات تبدیل میشود.
*باید توجه داشت که تحلیل فری بر اساس یک مدل حرارتی تحلیلی است تا نتایج تجربی. این مقاله بر روی معادله مقاومت حرارتی (Tj = Tinlet + Q × Rtotal)، پارامترهای عملیاتی منتشر شده یا فرض شده برای پردازنده گرافیکی روبین انویدیا، و تخمینهای خود شرکت از اینکه چگونه طرحهای مختلف صفحه سرد بر مقاومت حرارتی تأثیر میگذارند، بنا شده است.