شرکت آمازون وب سرویس (Amazon Web Services) در حال برخورد سختگیرانه با استفاده داخلی از نمونههای EC2 (EC2 instances) در میان مهندسان خود است. بر اساس گزارش نشریه اینفورمیشن (The Information)، این شرکت در ماه مه ظاهراً با مهندسان تشکیل جلسه داده و به آنها گفته است که برای اطمینان از داشتن ظرفیت کافی پردازنده (CPU) جهت پاسخگویی به تقاضای مشتریان، ضایعات CPU را کاهش دهند. این پیام در شرایطی منتشر میشود که تقاضا برای پردازندهها در مراکز داده (data center) به اوج خود رسیده است و نسبت سنتی هشت به یک یا چهار به یک پردازندههای گرافیکی (GPUs) به پردازندههای مرکزی (CPUs) در حال نزدیک شدن به برابری است.
نمونههای EC2 بخش بزرگی از اینترنت مدرن را تشکیل میدهند و در استقرارگاههای خصوصی نیز استفاده میشوند. بهطور سنتی، مهندسان AWS میتوانستهاند نمونههای خود را برای توسعه راهاندازی کنند و با بهرهگیری از استفاده نسبتاً پایین CPU که برای زیرساخت وب مورد نیاز است، از ماشینهای مجازی بیشتری استفاده کنند. اکنون، مهندسان میگویند که روزها منتظر دسترسی میمانند، در حالی که قبلاً میتوانستند ظرف چند ساعت به آن دسترسی پیدا کنند. یک مهندس به نشریه اینفورمیشن گفت که حتی پس از چندین سال کار در آمازون، هرگز مجبور نبوده اینقدر برای یک نمونه منتظر بماند.
آمازون چندین نوع مختلف پردازنده را در نمونههای EC2 خود مستقر میکند، از جمله گزینههای ایامدی (AMD) و اینتل (Intel) و تراشه نسبتاً جدید گراویتون ۵ (Graviton5) که خودش ساخته است. گراویتون ۵ قدرتمندترین پردازنده آمازون تا به امروز است و از معماری مبتنی بر آرم (Arm) در راستای پردازنده ورا (Vera) انویدیا (Nvidia) و ایجیآی خود آرم (Arm's own AGI) استفاده میکند.
افزایش تقاضا برای پردازنده به دنبال ظهور اینتهای هوش مصنوعی (AI agents) رخ داده است؛ پارادایم جدیدی در بهرهوری که حتی شرکتهای بزرگی مانند آمازون در تلاش برای مقابله با آن هستند. برای مثال، ماه گذشته یک اینت کدنویسی توانست هزینههای توکن را در آمازون به مبلغ ۱.۸ میلیون دلار برساند و بودجه توسعه را ۸۶۰ درصد پشت سر بگذارد.
بخش عمدهای از زیرساخت هوش مصنوعی فعلی حول محور استنتاج (inference) طراحی شده است، بار کاری که توسط پردازندههای گرافیکی شتاب مییابد. با نسبت چهار به یک، پردازنده مرکزی به عنوان راهی برای تغذیه پردازندههای گرافیکی عمل میکرد و بس. با این حال، بارهای کاری عاملاً بسیار پیچیدهتر هستند. آنها اغلب شامل فراخوانی ابزارها هستند که روی CPU اجرا میشوند و همچنین ارکستراسیون پیچیدهتری از استنتاج روی پردازندههای گرافیکی دارند. این همان چیزی است که پردازندهها را در عصر عاملها به مرکز توجه آورده است. اینتل، ایامدی و دیگران آنچه را که طی چند ماه گذشته از شرکتهای حافظه و ذخیرهسازی شنیدهایم تکرار کردهاند: تقاضا برای پردازندهها به قدری بالا است که بیشتر شرکتها هر چه را که بتوانند به دست میآورند.
بازیگران اصلی از این تقاضا بهرهبرداری میکنند. ایامدی اخیراً سبد محصولات خود از پردازندههای زن ۶ ونیز (Zen 6 'Venice') برای مرکز داده را رونمایی کرد که نشاندهنده اولین باری است که ایامدی پس از دههها، یک معماری جدید را قبل از بازار کلاینت در مرکز داده راهاندازی میکند. انویدیا نیز پیامرسانی خود را از شتابدهندهها به سمت پردازنده جدید ورا (Vera CPU) خود تغییر داده است تا ادعای خود را در بازار در حال گسترش زیرساخت هوش مصنوعی عاملاً ثبت کند.
اگرچه آمازون در حال دست و پنجه نرم کردن با ظرفیت پردازنده در میان مهندسان داخلی و مشتریان خارجی خود است، اما نشریه اینفورمیشن گزارش میدهد که کمبودها عمدتاً یک مشکل برای نمونههای اسپات (spot instances) هستند. یک مشاور به این رسانه گفت که ظرفیتهای قراردادی هیچگونه کمبودی را تجربه نکردهاند.
پس از انتشار این مطلب، یک سخنگوی آمازون وب سرویس با بیانیه زیر تماس گرفت:
«تقاضا برای خدمات AWS، از جمله EC2، فوقالعاده قوی و در حال رشد است. حتی با وجود این تقاضای سنگین، ما همچنان به برآورده کردن اکثریت قریب به اتفاق نیازهای محاسباتی برای مشتریان داخلی و خارجی خود ادامه میدهیم. ما از نزدیک با تیمهای داخلی همکاری میکنیم تا نیازهای محاسباتی آنها را برآورده کنیم و در عین حال اطمینان حاصل کنیم که آنها از منابع EC2 به کارآمدترین شکل ممکن استفاده میکنند، مانند پس گرفتن نمونههای بیحاصل، تنظیم اندازه مناسب، و مقیاسپذیری بالا و پایین با تغییر نیازها - درست همان کاری که همیشه انجام دادهایم. این بهرهوریها به مدیریت ظرفیت برای مشتریان داخلی و خارجی به طور یکسان کمک میکند و هرگونه پیشنهادی مبنی بر اینکه این تلاشهای دیرینه منعکسکننده محدودیتهای ظرفیت جدید است، کاملاً اشتباه است.»
«این فرض به صورت احساسی بزرگنمایی شده است. صرفهجویی از روز اول در DNA ما بوده است. ما همیشه تیمهای خود را تشویق کردهایم که به طور کارآمد عمل کنند. ما همچنین بهترین روشها را برای نحوه بهینهسازی منابع به مشتریان خارجی به اشتراک میگذاریم. این یک دستورالعمل جدید نیست و تشویق به استفاده کارآمد از منابع مختص آمازون نیست.»
ما از آمازون پرسیدیم که آیا به مهندسان مهلتی برای کاهش مصرف محاسباتی داده شده است یا خیر، همانطور که نشریه اینفورمیشن در ابتدا گزارش داد. یک سخنگوی AWS پاسخ داد: «این روایت در مورد EC2 نادرست است. به عنوان بخشی از عملیات تجاری معمولی خود و با پشتیبانی اصل رهبری خود یعنی صرفهجویی، ما همیشه در حال هدایت بهرهوری در سراسر منابع خود هستیم تا اطمینان حاصل کنیم تیمها در حال بهینهسازی ظرفیت هستند.»