ممکن است احساس شود که ما ابدیت است که در این عصر هوش مصنوعی زندگی میکنیم، اما در واقع ما تازه در آغاز آن هستیم. به همین دلیل، بسیاری از خطرات مرتبط با آن تا به امروز صرفاً فرضی بودهاند. با این حال، ما اکنون شاهد تحقیقاتی هستیم که از تیمهای تحقیقاتی امنیت و نرمافزار بیرون میآیند و رفتارهای واقعاً نگرانکنندهای را نشان میدهند، بهویژه هنگامی که صحبت از ایجنتهای هوش مصنوعی (AI agents) به میان میآید.
از یک طرف، شرکت فناوری آیلند (Island Technology) توضیح میدهد که چگونه هزاران مخزن (repository) مخرب گیتهاب (GitHub) را کشف کرده که به عنوان مهارتهای ایجنت هوش مصنوعی و سرورهای پروتکل زمینه مدل (MCP) پنهان شدهاند و ایجنتها در معرض خطر دانلود آنها با تشخیص خودشان هستند. از طرف دیگر، مؤسسه امنیت هوش مصنوعی (AISI) نشان میدهد که چگونه ایجنتهای هوش مصنوعی (بدون محدودیت) که برای امنیت سایبری استفاده میکردند، تلاش کردند با استفاده از هویتهای جعلی و تحت فشار قرار دادن افراد، انسانهای واقعی را فریب دهند تا کد مخرب را بپذیرند.
من به خاطر دارم زمانی که اوپنکلاو (OpenClaw) (که در آن زمان «مولتبات» - Moltbot نام داشت) برای اولین بار با وعدههای رفتار واقعی مبتنی بر ایجنت وارد آگاهی عمومی شد تا به صاحبان کسبوکارهای تکنفره و امثالهم کمک کند تا کارهای مختلف را انجام دهند. بدون اینکه این صاحبان کسبوکار مجبور باشند خودشان آن کارها را انجام دهند — فقط ربات خود را به برنامهها و خدمات مختلف خود متصل کنید، به آن بگویید چه کار کند، و بگذارید کارش را بکند. آن هم خیلی وقت پیش نبود؛ من در ماه ژانویه گزارشی درباره آن نوشتم.
چقدر زمان به تندی میگذرد. اکنون، صحبت درباره هوش مصنوعی خودمختار و مبتنی بر ایجنت کاملاً طبیعی به نظر میرسد. و ما داریم میبینیم که این موضوع در عمل از نظر خطرات امنیتی چه معنایی دارد. البته ما قبلاً هم مواردی از رفتارَکهای سرکش ایجنتهای هوش مصنوعی را دیده بودیم، اما این خطرات تازه شناساییشده کمی ملموستر به نظر میرسند.
در مورد اول، شرکت آیلند تکنولوژی (Island Technologies) کشف کرده است که مخزنهای جعلی گیتهاب تهدیدی واقعی برای ایجنتهای هوش مصنوعی ایجاد میکنند. البته این نوع حملات قبلاً هم وجود داشتند، اما آنها تلاش میکردند انسانهای واقعی را فریب دهند که میتوانستند شخصاً آنها را ارزیابی کنند و قبل از دانلود، مسئولیت بررسی دقیق امور را بر عهده بگیرند. تفاوت این است که این مخازن اکنون به عنوان مهارتهای ایجنت هوش مصنوعی و سرورهای MCP لباس پوشیدهاند تا بهطور خاص ایجنتهای هوش مصنوعی را هدف قرار دهند، و این ایجنتها میتوانند به «اراده» خود این مخازن را دانلود کنند.
سازنده مرورگر سازمانی (Enterprise Browser) توضیح میدهد: «بارزترین تغییر تکنیکی است که ما آن را فریب دادن ایجنت یا AgentBaiting مینامیم. یک ایجنت هوش مصنوعی که به دنبال قابلیت جدیدی مانند یک مهارت یا یک سرور MCP است، میتواند به طور مستقل یک مخزن کمپین را کشف کند، فایل Readme مهاجم را به عنوان مستندات قانونی تلقی کند و دستورالعملهای نصب را به کاربر تحویل دهد.
در آزمایشهای ما، مدلهای کلاود کد (Claude Code)، جمنای (Gemini) و چتجیپیتی (ChatGPT) همگی مخزنهای کمپین مخرب را بدون اینکه لینکی به آنها نشان داده شود، بالا آوردند. یک کتابازی (playbook) که برای فریب دادن انسانها ساخته شده بود، اکنون ایجنتهایی را که از طرف آنها عمل میکنند، فریب میدهد.»
حداقل در یک مورد، در حالی که کلاود در آزمایشهای این شرکت مخزن مخرب مربوطه را دانلود نکرد، اما آن را به عنوان یک نسخه پشتیبان توصیه کرد. در اجراهای دیگر، کد مخرب را تشخیص داد و از پیشنهاد دادن آن خودداری کرد.
اگر این به اندازه کافی بد نبود، این احتمال وجود دارد که ایجنتهای هوش مصنوعی روزی همان کسانی باشند که چنین مخازنی را ایجاد میکنند، حداقل اگر بخواهیم به حادثه اخیر فاش شده توسط AISI استناد کنیم.
به گفته این مؤسسه، در برخی از مسابقات چالش امنیت سایبری که به ایجنتهای هوش مصنوعی محول شده بود، «یک ایجنت هوش مصنوعی اقدام خودسرانه و تأییدنشدهای را در اینترنت زنده انجام داد و افراد و سازمانهای واقعی را هدف قرار داد.»
به طور خاص، در یک مورد، AISI میگوید: «یک ایجنت تلاش کرد کد مخربی را وارد یک پروژه متنباز (open-source) کند. در تلاش برای تأیید گرفتن برای این کد، این ایجنت دست به مهندسی اجتماعی زد — یعنی هویتهای آنلاین جعلی ایجاد کرد و از آنها برای تحت فشار قرار دادن نگهدارنده پروژه جهت تأیید کد استفاده کرد. یک نگهدارنده انسانی متوجه شد و از تأیید کد مخرب خودداری کرد.»
«این ایجنت در مورد نگهدارندگان انسانی پروژه تحقیق کرد، چندین هویت جعلی ایجاد کرد و از این هویتهای جعلی برای مهندسی اجتماعی روی یک نگهدارنده واقعی جهت تأیید کد استفاده کرد. هنگامی که پول ریکوئست (pull request) ایجنت در ملاء عام به چالش کشیده شد، فعالیت قبلی خود را ویرایش کرد تا بیحسوحال و بیخطر به نظر برسد و به فکر پذیرش یک هویت تازه برای ادامه کار افتاد. این ایجنت از تور (Tor) برای دور زدن برخی محدودیتهای شبکه در گیتهاب استفاده کرد، که همین امر برای اولین بار هشدار امنیتی AISI را فعال کرد.»
«به عنوان بخشی از همان تلاش، ایجنت تلاش کرد مستقیماً با افراد واقعی تماس بگیرد، پیامها و فایلهایی را از طریق یک سرویس انتقال فایل آنلاین ارسال کند تا آنها یا ابزارهای کدنویسی هوش مصنوعی خودشان را متقاعد کند که کد مخرب را اجرا کنند. برخی از پیامها دارای محمولههای زیانبار بودند و برخی دیگر تلاشهایی برای مهندسی اجتماعی بودند که افراد واقعی را هدف قرار داده بودند؛ چیزی که ما قبلاً هرگز مشاهده نکرده بودیم.»
نکته مهمی که در اینجا باید به آن اشاره کرد این است که مهار این ایجنتهای هوش مصنوعی برداشته شده بود و به آنها دسترسی گسترده به اینترنت داده شده بود. اقدامات پیشگیرانه معمولی که در این ایجنتها در مدلهای عمومی تعبیه شده است، غیرفعال شده بود.
با این وجود، تصور اینکه بازیگران مخرب بسیار جدی نتوانند همین کار را انجام دهند و آن محافظتها را حذف کنند، دشوار است. در این صورت، من نمیتوانم جلوی خودم را بگیرم و تعجب نکنم که آیا این احتمال وجود دارد که در آینده شاهد مخازن مخرب طراحیشده توسط ایجنت هوش مصنوعی یا تزریقشده توسط آن باشیم که ناخودآگاه توسط ایجنتهای هوش مصنوعی که آن را تشخیص نمیدهند، دسترسی پیدا کنند.
البته همیشه خطراتی مرتبط با فناوریهای جدید وجود دارد، بنابراین من نمیخواهم ترس را به طور چشمگیری دامن بزنم. اما سخت است که نگران چنین تحقيقاتی نباشیم وقتی که پای فناوری در میان است که اساساً برای داشتن سطحی از خودمختاری طراحی شده است. این مسئله کلیدی در اینجا است و در هر دو مورد - چه به صورت مخرب عمل کند و چه ناخودآگاه نرمافزار مخرب را دانلود کند - این عاملیت (agency) است که مشکل اصلی محسوب میشود. بیایید امیدوار باشیم که بهبود محافظتها همگام با بهبود قابلیتهای ایجنتهای هوش مصنوعی پیش برود.