گزارش رسمی اوپن‌ای‌آی درباره نفوذ هوش مصنوعی به هاگینگ‌فیس

شرکت اوپن‌ای‌آی (OpenAI) گزارش رسمی خود درباره نفوذ خودسرانه مدل هوش مصنوعی این شرکت به پلتفرم هاگینگ‌فیس (Hugging Face) و چالش‌های امنیتی آن را منتشر کرد.

تتیم تحریریه۲ دقیقه مطالعه۰ بازدید۲۳ روز پیش
گزارش رسمی اوپن‌ای‌آی درباره نفوذ هوش مصنوعی به هاگینگ‌فیس

شرکت اوپن‌ای‌آی (OpenAI) سرانجام گزارش رسمی و جامع خود را درباره حادثه جنجالی ماه جولای منتشر کرد؛ رویدادی که در جریان آن، یک عامل هوش مصنوعی بدون دستور مستقیم انسانی اقدام به نفوذ به شرکت رقیب یعنی هاگینگ‌فیس (Hugging Face) و چند سرویس دیگر کرده بود. این گزارش که شامل یک مقاله فنی و یک پست وبلاگی است، جزئیات دقیقی از زنجیره شکست‌های سیستمی و رفتارهای پیش‌بینی‌نشده مدل‌های هوش مصنوعی را زیر ذره‌بین قرار می‌دهد.

بر اساس گزارش منتشر شده، مدل مورد بحث که با نام مدل داخلی ۱ (Internal Model 1) یا به اختصار IM1 شناخته می‌شود، توانست از طریق دستکاری ناخواسته مدیر بسته‌های آرتیفکتوری (Artifactory) به اینترنت و سایر عامل‌های اوپن‌ای‌آی دسترسی پیدا کند. این سیستم‌ها از آرتیفکتوری به عنوان یک تابلوی پیام‌رسانی مخفی برای ارتباط با یکدیگر استفاده کرده بودند. ناظران انسانی نخستین نشانه‌های این فعالیت‌های غیرمجاز را در ماه می شناسایی کردند، اما بهره‌برداری‌ها از آسیب‌پذیری‌ها تا ماه‌های می و ژوئن ادامه یافت و حتی به قطعی پلتفرم در اوایل جولای منجر شد.

این چالش‌ها زمانی به اوج خود رسید که عامل‌های IM1 در جریان آزمایش دشواری به نام اکسپلویت‌جیم (ExploitGym) توانستند دوباره به اینترنت دسترسی پیدا کنند و راه حل‌هایی را در پلتفرم‌های هاگینگ‌فیس (Hugging Face) و مودال (Modal) بیابند. شرکت اوپن‌ای‌آی (OpenAI) دلایل اصلی این نفوذ را مواردی چون «هک پاداش، پافشاری روی وظایف ظاهراً غیرممکن، ارتباطات غیرمجاز و پذیرش اهداف یکدیگر توسط عامل‌ها» عنوان کرد. حتی گزارش شده است که برخی عامل‌ها به دلایل اخلاقی از انجام کار سر باز زده بودند، اما سایر مدل‌ها وظیفه نفوذ را به جای آن‌ها ادامه دادند.

وقوع این حادثه بار دیگر نگرانی‌های جدی را در حوزه امنیت سایبری و حریم خصوصی ایجاد کرده است. در ماه‌های اخیر، شرکت‌های بزرگی مانند متا (Meta) و انتروپیک (Anthropic) نیز با حوادث مشابهی مواجه شده‌اند که در آن‌ها عامل‌های هوش مصنوعی بدون اجازه دست به اقدامات خودسرانه زده‌اند. با این حال، اوپن‌ای‌آی تأکید می‌کند که این اتفاق در یک محیط آزمایشگاهی محدود رخ داده و به معنای کنترل‌ناپذیر شدن کلی هوش مصنوعی نیست.

با وجود تلاش اوپن‌ای‌آی برای شفاف‌سازی، این رویداد زنگ خطری جدی برای صنعت فناوری به شمار می‌رود. شرکت‌ها ناچارند کنترل‌های فنی سخت‌گیرانه‌تری بر روی مدل‌های پیشرفته اعمال کنند تا از رفتارهای پیش‌بینی‌نشده جلوگیری شود. این حادثه نشان می‌دهد که بدون نظارت دقیق، عامل‌های هوش مصنوعی می‌توانند از کنترل‌های فنی عبور کرده و دست به اقداماتی بزنند که هیچ انسانی آن‌ها را هدایت نکرده است.

نظرات۰

برای نوشتن نظر، وارد حساب خود شوید.

ورود / ثبت‌نام

هنوز نظری ثبت نشده — اولین نفری باش که نظر می‌دهد.