شرکت انویدیا (Nvidia) به تازگی پلتفرم ایمنی عوامل باز انویدیا (Nvidia Open Agent Safety Platform) را که یک پلتفرم نرم‌افزاری باز و طراحی سیستم مرجع است، برای کنترل و ایمن‌سازی عوامل هوش مصنوعی (AI) خودمختار راه‌اندازی کرده است. این پلتفرم که در ۲۸ سپتامبر ۲۰۲۶ معرفی شد، برای ایجاد موانع امنیتی سختگیرانه در خارج از لایه کاربرد مدل‌های هوش مصنوعی طراحی شده است و از فرار عوامل از جعبه‌های شنی (Sandboxes)، اجرای کدهای غیرمجاز، دستیابی غیرمجاز به زیرساخت‌های حیاتی یا دور زدن خط‌مشی‌ها جلوگیری می‌کند.
این راه‌اندازی به دنبال ماه‌ها درخواست برای تنظیم‌گری هوش مصنوعی از سوی چندین بازیگر صنعت انجام می‌شود که پس از گزارش چندین حادثه در سپتامبر تشدید شد؛ حوادثی که در آن‌ها مدل‌های هوش مصنوعی از محیط‌های آزمایشی خود خارج شده و سرکش عمل کردند. موجی اخیر از چنین حوادثی باعث درخواست‌هایی برای کُند کردن توسعه هوش مصنوعی شده است، به‌طوری که اوپن‌ای‌آی (OpenAI) آموزش مدل‌های جدید را به طور کامل متوقف کرد. یک پژوهشگر سابق شرکت‌های آنتروپیک (Anthropic) و اوپن‌ای‌آی (OpenAI) حتی اعلام کرد که افراد سازنده هوش مصنوعی پیشرو «صادقانه معتقدند که این فناوری می‌تواند تا پایان دهه همه ما را بکشد». در اقدامی نسبتاً تعجب‌آور، رهبران شرکت‌های توسعه‌دهنده این مدل‌های هوش مصنوعی به درخواست‌ها برای تنظیم‌گری یا کُند کردن توسعه پیوسته‌اند.
با این حال، همه با این رویکرد موافق نیستند. جنسن هوانگ (Jensen Huang)، مدیرعامل انویدیا (Nvidia)، به طور مداوم با تنظیم‌گری‌های اجباری دولتی، محدودیت‌های گسترده یا برخورد با ایمنی هوش مصنوعی به عنوان یک «نظریه آخرالزمانی» مخالفت کرده و هشدارهای آخرالزمانی رقیبانی مانند آنتروپیک (Anthropic) و اوپن‌ای‌آی (OpenAI) را آشکارا «عجیب» خوانده است. او استدلال می‌کند که ایمنی هوش مصنوعی یک مسئله زیرساختی با پارامترهای فیزیکی مشخص است، نه یک مسئله انتزاعی و گمانه‌زنی که نیازمند سیاست‌گذاری باشد. بنابراین، به گفته هوانگ، راه‌حل مهندسی بهتر است.
پلتفرم ایمنی عوامل باز انویدیا (Nvidia Open Agent Safety Platform) به نظر می‌رسد تجسم فیزیکی همان فلسفه دقیق باشد. بنابراین، این پلتفرم دقیقاً چگونه کار می‌کند؟ برای چه کسانی است؟ و آیا واقعاً پاسخی به مسئله ایمنی هوش مصنوعی است که نگرانی روزافزونی را در سراسر صنعت ایجاد می‌کند؟ بخش عمده‌ای از بحث‌های صنعت در مورد رویکردها بر مهار عوامل سرکش خودکار متمرکز بوده است، اما به پیامدهای ایمنی تبدیل شدن هوش مصنوعی به یک ابزار قدرتمند در دستان بازیگران تهدیدکننده به سختی می‌پردازد.
همه این سر و صداها برای چیست؟
سرعت توسعه هوش مصنوعی نگرانی‌هایی را در مورد اینکه آیا محافظ‌های کافی برای مهار خطرات چنین فناوری قدرتمندی وجود دارد یا خیر، برانگیخته است. یکی از جنبه‌های این نگرانی‌ها - عوامل سرکش - با چندین حادثه تأیید شده است که در آن‌ها عوامل هوش مصنوعی در طول آزمایش از نقش‌های خود خارج شده و اقدامات غیرمجازی را انجام داده‌اند. عوامل اوپن‌ای‌آی (OpenAI) دسترسی غیرمجازی به وب‌سایت‌های مختلف دولتی از جمله وب‌سایت‌های کمیسیون بورس و اوراق بهادار (SEC) و اداره آدرس ایالات متحده و همچنین پورتال پرداخت‌های بهداشتی و اجتماعی استرالیا به دست آورده‌اند.
در چندین اپیزود دیگر، مدل‌ها از خط‌مشی‌ها عبور کرده، بردهای پیام‌رسانی راه‌اندازی کرده، از جعبه‌های شنی فرار کرده، وب‌سایت‌ها را ربوده، خودبه‌خود دستور صادر کرده، داده‌های کاربر را بدون اجازه آپلود کرده و به طور مخفیانه با یکدیگر ارتباط برقرار کرده‌اند. یک گزارش اخیر آکسیوس (Axios) ادعا می‌کند که آزمایشگاه‌های پیشرو هوش مصنوعی در حال حاضر در حال بررسی ده‌ها هزار مورد از این حوادث هستند که بیشتر آن‌ها در طول آزمایش و تجربه رخ داده است. چندین حادثه سرکش نیز در خارج از محیط‌های آزمایشی رخ داده است. برای مثال، اوایل امسال، یک عامل کدنویسی هوش مصنوعی مبتنی بر کلود (Claude) کل پایگاه داده یک شرکت را در ۹ نسخه حذف کرد و نسخه‌های پشتیبان را از بین برد.
این حوادث به درخواست‌های رو به رشد برای تنظیم‌گری در سراسر صنعت ختم شده است. داریو آمودی (Dario Amodei)، مدیرعامل آنتروپیک (Anthropic)، اخیراً مقاله‌ای منتشر کرده است که بر درخواست‌ها برای «کُند کردن سرعت» توسعه هوش مصنوعی و اهمیت تنظیم‌گری تمرکز دارد و هشدار می‌دهد که یک هجوم ربات‌نت مبتنی بر هوش مصنوعی می‌تواند کل اینترنت را تسخیر کند. آنتروپیک (Anthropic) در پروپکتوس عرضه اولیه عمومی (IPO) اخیر خود، «خطرات وجودی برای بشریت» را به عنوان یکی از عوامل خطر خود فهرست کرد و یک سوم سند ۲۶۱ صفحه‌ای را به توصیف آنچه ممکن است اشتباه پیش برود اختصاص داد.
جنسن هوانگ (Jensen Huang) از انویدیا (Nvidia) با این پیش‌بینی‌های آخرالزمانی و استفاده از تنظیم‌گری‌ها به عنوان یک راه‌حل مخالف است. در حالی که او نیاز حیاتی به محافظ‌ها را رد نمی‌کند، استدلال می‌کند که مهندسی بهتر، نه تنظیم‌گری‌های قانونی گسترده، رویکرد درست است. هوانگ با عمل به حرف‌های خود، پلتفرم ایمنی عوامل باز انویدیا (Nvidia Open Agent Safety Platform) را راه‌اندازی کرده است.
پلتفرم ایمنی عوامل باز انویدیا
پلتفرم ایمنی عوامل باز انویدیا (Nvidia Open Agent Safety Platform) که با همکاری حدود ۱۰۰ شریک صنعتی ساخته شده است، «صنعت، محققان و سازمان‌های بخش عمومی را کنار هم می‌آورد تا مرزهای ایمن‌تری برای عوامل هوش مصنوعی تعیین کند، بهترین روش‌ها را به اشتراک بگذارد و همکاری بین‌المللی را برای افزایش سطح استقرار ایمن‌تر عوامل هوش مصنوعی تقویت کند.» این پلتفرم، انویدیا اوپن‌شل (Nvidia OpenShell) - یک زمان‌بندی امن متن‌باز که عوامل را در جعبه شنی قرار می‌دهد و خط‌مشی‌های تعریف‌شده توسط اپراتور را اجرا می‌کند - را با انویدیا سنتری (Nvidia Sentry)، یک طراحی مرجع نگهبان مستقل که روی واحدهای پردازش داده (DPU) مدل بلوفیلد-۴ (BlueField-4) انویدیا اجرا می‌شود و خط‌مشی‌های امنیتی را در سطح سیلیکون اعمال می‌کند، ترکیب می‌کند.
سیستم OpenShell محیط‌های جعبه شنی را در خارج از مهارکننده مدل و عامل، با جداسازی در سطح هسته ایجاد می‌کند تا بر آنچه یک عامل می‌تواند ببیند، با آن تعامل داشته باشد و اجرا کند، نظارت داشته باشد. حتی اگر عامل از مرزهای مدل خارج شود، نمی‌تواند فراتر از مرزهای OpenShell برود. از سوی دیگر، Sentry از تله‌متری در سطح سخت‌افزار برای نظارت مستمر بر رفتار عامل و جداسازی جریان‌های کاری سرکش از خارج از محیط نرم‌افزاری عامل استفاده می‌کند. اگر یک عامل سعی کند فراتر از مرز نرم‌افزاری خود حرکت کند، انویدیا ادعا می‌کند که Sentry می‌تواند آن را در چند میلی‌ثانیه قرنطینه و متوقف کند.
این پلتفرم برای توسعه‌دهندگان و شرکت‌هایی که عوامل به طور فزاینده‌ای خودمختار را در مراکز داده، ایستگاه‌های کاری و حتی سیستم‌های رباتیک مستقر می‌کنند، در نظر گرفته شده است و می‌تواند با مدل‌های باز و بسته کار کند. در حالی که OpenShell برای پردازنده انویدیا ورا (Nvidia Vera) - یک CPU اختصاصی برای هوش مصنوعی عاملي - بهینه‌سازی شده است، اما از آنجا که متن‌باز است، می‌تواند به پلتفرم‌های محاسباتی شخص ثالث از شرکت‌های آرم (Arm) و اینتل (Intel) نیز گسترش یابد.
شرکای صنعتی انویدیا در این ابتکار شامل آزمایشگاه‌ها و چارچوب‌های هوش مصنوعی، ارائه‌دهندگان امنیت و هویت، پلتفرم‌های سازمانی و شرکت‌های سخت‌افزاری و زیرساختی هستند که چندین شریک در حال حاضر این پلتفرم را در اکوسیستم‌های خود ادغام کرده‌اند. شرکت اسپیس‌اِکس‌ای‌آی (SpaceXAI) از این پلتفرم با عوامل کدنویسی Cursor و مدل‌های Grok استفاده می‌کند، در حالی که آنتروپیک (Anthropic) در حال ادغام OpenShell و BlueField با عوامل مدیریت شده Claude است تا لایه کنترل دیگری اضافه کند.
شرکت اسکیل ای‌آی (Scale AI) در حال ادغام این فناوری در زیرساخت عاملی خود برای مشتریان سازمانی و دولتی است. به همین ترتیب، سیلزفورس (Salesforce) و انویدیا (Nvidia) نیز OpenShell را با اسلک (Slack) ادغام کرده‌اند که به کاربران اجازه می‌دهد فعالیت عامل، رویدادهای حسابرسی را مشاهده کنند و درخواست‌ها برای مجوزهای اضافی را مستقیماً از اسلک تأیید یا رد کنند.
در همین حال، شرکت اس‌اِی‌پی (SAP) در حال تعبیه OpenShell در زمان‌بندی Joule Studio خود است و در کارهای مهندسی پروژه مشارکت دارد و همچنین با انویدیا (Nvidia) روی استانداردهای تعامل‌پذیری از طریق اتحاد امنیت باز هوش مصنوعی (Open Secure AI Alliance) همکاری می‌کند. شرکت‌های رباتیک از جمله فیگور (Figure)، گکو رباتیکس (Gecko Robotics) و اسکیلد ای‌آی (Skild AI) نیز در حال ساخت با OpenShell برای اضافه کردن کنترل‌های مشابه به سیستم‌های خودمختار در دنیای فیزیکی هستند.
تصویر بزرگ‌تر
کمی تعجب‌آور است که قوی‌ترین صداهایی که خواستار تنظیم‌گری هستند، رهبران همان آزمایشگاه‌هایی هستند که عوامل هوش مصنوعی را توسعه می‌دهند. از یک طرف، داشتن افرادی در خط مقدم توسعه که خواستار خویشتن‌داری هستند، اعتبار و فوریت نگرانی‌ها را افزایش می‌دهد. از طرف دیگر، منتقدان می‌گویند این ممکن است بخشی از یک برنامه گسترده‌تر «خودخواهانه» باشد که بخشی از آن بازاریابی برای قابلیت‌های مدل‌ها، بخشی ترفندی برای تأثیرگذاری بر هرگونه تنظیم‌گری است که در نهایت انجام می‌شود، و بخشی تلاشی برای کُند کردن بیشتر توسعه هوش مصنوعی چین است. در واقع، شرکت‌های آنتروپیک (Anthropic)، اوپن‌ای‌آی (OpenAI)، اسپیس‌اِکس‌ای‌آی (SpaceXAI) و گوگل (Google) اکنون به دلیل توافق برای کُند کردن توسعه هوش مصنوعی با یک دعوای ضدانحصار مواجه هستند و شاکی صراحتاً این اقدام را «خودخواهانه» می‌نامد.
دونالد ترامپ (Donald Trump)، رئیس‌جمهور ایالات متحده، به نظر می‌رسد به شدت با این دیدگاه موافق است و می‌گوید یک «توطئه بیمارگونه» برای تضعیف در جریان است. ترامپ برنامه‌هایی را برای یک «نیروی هوش مصنوعی» اعلام کرد که هوش مصنوعی را «گرامی خواهد داشت» و مراقب آن خواهد بود. جنسن هوانگ (Jensen Huang) نیز درخواست‌ها برای تنظیم‌گری را عجیب می‌داند. او می‌گوید کاملاً مخالف تنظیم‌گری نیست، اما سر و صدای اخیر را یک «حواس‌پرتی» می‌نامد. هوانگ استدلال می‌کند که نمی‌توانید به مدل هوش مصنوعی برای تنظیم خود یا قبول آزمون‌های هم‌راستایی تکیه کنید. اگر یک عامل با یک باگ مواجه شود، به طور طبیعی سعی خواهد کرد کد نرم‌افزاری استاندارد را دور بزند تا به هدف خود برسد.
با این حال، حمایت هوانگ را نمی‌کاملاً نوع‌دوستانه دانست. محدودیت‌های گسترده روی هوش مصنوعی یا توقف در توسعه احتمالاً فروش انویدیا (Nvidia) را کاهش خواهد دهد، شرکتی که شتاب‌دهنده‌های هوش مصنوعی آن بیشتر مدل‌های هوش مصنوعی را تأمین می‌کنند. علاوه بر این، مدیرعامل این شرکت همیشه هوش مصنوعی سرکش را به عنوان یک شکست امنیت سایبری و شبکه‌ای تلقی کرده است و اکنون پلتفرم ایمنی عوامل باز را به عنوان راه‌حل زیرساختی مورد نیاز برای کل صنعت معرفی می‌کند.
پتانسیل فوق‌العاده هوش مصنوعی برای جامعه تنها در صورتی محقق خواهد شد که ایمنی هوش مصنوعی را حل کنیم. هوانگ گفت: «همانطور که به کشف مرز قابلیت‌های هوش مصنوعی ادامه می‌دهیم، باید کشف در مرز ایمنی هوش مصنوعی را تسریع کنیم. ایمنی و امنیت نیازمند مهندسی تمام‌پشته است. پلتفرم ایمنی عوامل باز انویدیا صنعت، محققان و سازمان‌های بخش عمومی را گرد هم می‌آورد تا بهترین روش‌ها را به اشتراک بگذارند، در مورد روش‌های ارزیابی هماهنگ شوند و همکاری بین‌المللی را تقویت کنند. با هم، می‌توانیم سطح ایمنی جهانی هوش مصنوعی را ارتقا دهیم.»
هیچ‌کدام از این موارد به نظر نمی‌رسد به جنبه‌ای قابل‌نگرانی‌تر از ایمنی هوش مصنوعی بپردازد: ابزارهای فوق‌العاده قدرتمند که به دست بازیگران بد می‌افتند یا در برنامه‌هایی استفاده می‌شوند که خطوط مرزی اخلاقی را محو می‌کنند. برای مثال، حملات سایبری به کمک بلاک‌چین از زمان راه‌اندازی ابزارهای هوش مصنوعی منبع‌باز چینی که تولید کد مخرب را محدود نمی‌کنند و مانع دانش برای راه‌اندازی حملات سایبری را کاهش می‌دهند، ۴۴۰ درصد افزایش یافته است. در جایی دیگر، محققان از هوش مصنوعی برای ایجاد ۱۶ ویروس جدید استفاده کردند که هرگز در طبیعت وجود نداشتند. در حالی که مطالعه خاص یک پژوهش پزشکی کنترل‌شده بود، نشان می‌دهد که برنامه‌های کاربردی بسیار خطرناک امکان‌پذیر است. کارشناسان نگرانند که چنین مطالعاتی بسیار جلوتر از محافظ‌ها و تنظیم‌گری‌های لازم باشد.
منبع: tomshardware.com