آیا حمله به هاکینگ فیس بیسابقه بود؟
خواندن گزارش هفته گذشته اوپنایآی (OpenAI) درباره اینکه چگونه برخی از مدلهایش از محیط ایزوله خارج شده و به سیستمهای کامپیوتری شرکت هوش مصنوعی هاکینگ فیس (Hugging Face) نفوذ کردند، اولین باری بود که واقعاً از تواناییهای کنونی مدلهای زبانی بزرگ (LLMs) دچار ترس شدم. با این حال، این حادثه بیش از آنکه حاصل یک هوش مصنوعی سرکش باشد، ناشی از غرور و خطای انسانی است.
من فرد بدبینی نیستم. در واقع، سالهاست که در برابر هراسافکنیهای بیهوده درباره هوش مصنوعی ایستادگی کردهام. با این وجود، این حادثه از خط قرمزها عبور کرد. به نظر من، این روشنترین تصویر از این واقعیت است که سازندگان و آزمایشکنندگان این فناوری، درک کاملی از کارهای خود ندارند. اوپنایآی (OpenAI) میتوانست و باید این واقعه را پیشبینی میکرد.
آنچه رخ داده، طبق اظهارات دو شرکت دخیل، به این شرح است: چند هفته پیش، اوپنایآی (OpenAI) شروع به آزمایش قابلیتهای هک برخی از مدلهای جدید خود، از جمله جیپیتی-۵.۶ سول (GPT-5.6 Sol) (که در ژوئن منتشر شد) و آنچه آنها «یک مدل پیشانتشار توانمندتر» مینامند، کرد.
اوپنایآی (OpenAI) مدلهای خود را در برابر یک بنچمارک به نام اکسپلویتجیم (ExploitGym) قرار داد که در ماه مه منتشر شد. این بنچمارک، مدلهای زبانی بزرگ را به چالش میکشد تا راههایی برای بهرهبرداری از آسیبپذیریهای دنیای واقعی در نرمافزارهای رایج پیدا کنند.
محققان برای مشاهده عملکرد مدلها، اکثر لایههای محافظتی سایبری را حذف کردند. سپس مدلها را در یک محیط ایزوله (Sandbox) اجرا کردند که از اینترنت قطع بود، مگر برای یک لینک به یک نرمافزار شخص ثالث که به عنوان پروکسی با دنیای بیرون عمل میکرد. همچنین به مدلها اجازه دادند کدهای مورد نیاز برای شکست دادن اکسپلویتجیم (ExploitGym) را نصب کنند.
طبق گزارش رویترز (Reuters)، در ۹ ژوئیه مدلهای اوپنایآی (OpenAI) شروع به تلاش برای عبور از پروکسی کردند. آنها یک باگ ناشناخته در نرمافزار پروکسی پیدا کرده و از آن برای دسترسی به اینترنت استفاده کردند. سپس در ۱۱ ژوئیه به سیستمهای هاکینگ فیس (Hugging Face) نفوذ کردند تا مجموعهدادهها و راهکارهایی برای تکمیل وظیفهشان بیابند. هاکینگ فیس (Hugging Face) این هک را در ۱۶ ژوئیه اعلام کرد.
اوپنایآی (OpenAI) تا ۲۱ ژوئیه یعنی حدود ۱۰ روز پس از فرار مدلها از محیط ایزوله و یک هفته پس از آنکه هاکینگ فیس (Hugging Face) حمله را متوقف و به افبیآی (FBI) اطلاع داده بود، متوجه ماجرا نشد یا حداقل آن را فاش نکرد.
در بیانیهای که به امآیتی تکنولوژی ریویو (MIT Technology Review) داده شده، اوپنایآی (OpenAI) میگوید: «ما در حال انجام یک بررسی دقیق با کمک مشاوران خارجی و تحت نظارت کمیته ایمنی و امنیت خود هستیم. پس از تکمیل بررسی، گزارش فنی آموختههای خود را برای همه منتشر خواهیم کرد.» این شرکت همچنین تأیید کرد که محققانش در آن زمان از دستورالعملها و رویههای ایمنی موجود به درستی استفاده میکردند.
زنگ خطری برای آینده
اوپنایآی (OpenAI) گفته است که این رویداد بیسابقه بوده و از بسیاری جهات واقعاً همینطور بود. این اولین بار در خارج از شبیهسازی بود که مدلهای زبانی بزرگ از یک محیط ایزوله امن خارج شدند، به اینترنت دسترسی پیدا کردند و به یک سازمان دیگر حمله کردند. این یک زنگ خطر است که نشان میدهد مدلهای زبانی بزرگ تا چه حد در یافتن و بهرهبرداری از آسیبپذیریهای نرمافزاری واقعی با راهنمایی انسانی کم یا بدون آن، توانا شدهاند.
با این حال، آنچه مدلهای اوپنایآی (OpenAI) انجام دادند، کاری است که این فناوری سالهاست انجام میدهد. اگر به یک مدل هدفی بدهید، اغلب آن هدف را به روشهای غیرمنتظرهای محقق میکند؛ به گونهای که راههای میانبر را به عنوان تقلب پیدا میکند. خود اوپنایآی (OpenAI) نیز این رفتار را مطالعه کرده است.
یک دهه پیش، نتایج آزمایشی منتشر شد که در آن یک مدل وظیفه داشت بازی ویدیویی کاسترانرز (CoastRunners) را شکست دهد. بازیکنان انسانی میدانند که راه پیروزی، راندن قایق از میان پرچمها تا خط پایان است. مدل اوپنایآی (OpenAI) متوجه شد که میتواند با چرخیدن به دور خود و زدن مدام همان سه پرچم، امتیاز بالایی کسب کند. از آن زمان دهها مثال مشابه توسط محققان ثبت شده است. هوش مصنوعی همیشه راهی پیدا خواهد کرد.
در سال ۲۰۱۶، اوپنایآی (OpenAI) درباره آزمایش کاسترانرز (CoastRunners) نوشت: «علیرغم آتش گرفتنهای مکرر، تصادف با قایقهای دیگر و رفتن در مسیر اشتباه، مدل ما با این استراتژی امتیازی بالاتر از مسیر معمول کسب کرد. اگرچه این رفتار در بازی ویدیویی سرگرمکننده است، اما نشاندهنده یک مشکل کلیتر است؛ اینکه تعریف دقیق آنچه میخواهیم مدل انجام دهد، اغلب دشوار است.»
وقتی پست وبلاگی اوپنایآی (OpenAI) درباره حمله به هاکینگ فیس (Hugging Face) را میخواندم، به یاد کاسترانرز (CoastRunners) افتادم: «شواهد نشان میدهد که مدلها برای یافتن راه حل اکسپلویتجیم (ExploitGym) بیش از حد متمرکز شده بودند و برای دستیابی به این هدف آزمایشی، دست به کارهای افراطی زدند. مدل پس از دسترسی به اینترنت، استنباط کرد که هاکینگ فیس (Hugging Face) ممکن است مدلها و دادههایی برای اکسپلویتجیم (ExploitGym) داشته باشد و برای دور زدن ارزیابی، به دنبال دسترسی به اطلاعات محرمانه رفت.»
اخبار هفته گذشته، برخلاف آنچه در تیترها آمده، درباره هوش مصنوعی سرکش نبود؛ بلکه درباره مدلهایی بود که هدفی را که به آنها داده شده بود، محقق کردند. این واقعیت که مدلها به روشی غیرقابلپیشبینی رفتار کردند، تعجبآور نیست، اما به شدت نگرانکننده است.
در سال ۲۰۱۶، اوپنایآی (OpenAI) درباره ربات کاسترانرز (CoastRunners) گفت: «به طور کلی، این موضوع با اصل مهندسی پایه که سیستمها باید قابلاطمینان و پیشبینیپذیر باشند، مغایرت دارد.» یک دهه بعد، به نظر میرسد آن اصول مهندسی پایه همچنان غایب هستند.