خواندن درباره نمونههایی از مدلهای هوش مصنوعی (AI) که از محیطهای سندباکس شخصی خود خارج شده و درگیر حوادث هک میشوند، بسیار تکاندهنده بوده است.
دو مورد از تازهترین نمونههای این اتفاق شامل حادثه اوپنایآی (OpenAI) و هاگینگ فیس (Hugging Face) و دسترسی گوگل جمنای (Google Gemini) به اینترنت برای بهدست آوردن اعتبارنامههای لازم جهت هک کردن سه وبسایت در جریان یک تست امنیت سایبری توسط شرکت مستقل Irregular است. حتی مدلهای کلود (Claude) شرکت انتروپیک (Anthropic) نیز در یک هک با هدف قرار دادن سیستمهای اوپنایآی دست داشتند؛ خوشبختانه، این وضعیت بیشتر یک رویداد اخلاقی بود که توسط یک تیم سه نفره از هکترون ایآی (Hacktron AI) انجام شد.
با وجود مشکلات بسیار مرتبط با ابزارهای هوش مصنوعی (دور زدن پناهگاههای امنیتی، دسترسی به اطلاعاتی که نباید و مشارکت در حملات سایبری پیچیده که از موارد اصلی هستند)، ترسهای مردم عادی و متخصصان کاملاً موجه است.
تی. جی. مارلین (T.J. Marlin)، مدیر اجرایی گاردریل تکنولوجیز (Guardrail Technologies) و رهبر پیشین فناوری قانونی و نوآوری جهانی EY، مدتی را با ما گفتگو کرد تا نظرات خود را درباره دور زدن کنترلهای درگاه ورودی توسط عاملهای هوش مصنوعی، نشت دادهها از طریق استفاده کارمندان، خطرات مرتبط با مراکز داده متمرکز و موارد دیگر بیان کند.
به نظر شما بزرگترین تهدید امنیتی هوش مصنوعی که افراد و کسبوکارها در حال حاضر آن را دست کم میگیرند چیست و چرا؟
هوش مصنوعی در حال تبدیل شدن به یک بازیگر در داخل محیطهای دیجیتال ما است، در حالی که بیشتر امنیت سایبری همچنان برای دفاع در برابر مهاجمان انسانی که از خارج میآیند طراحی شده است. به یک عامل اعتبارنامههای مشروع بدهید و فعالیت ممکن است مانند یک کاربر مجاز به نظر برسد که کارهای مجاز را به دلیل نادرست انجام میدهد. هویت دیگر کافی نیست. مسئله این است که هوش مصنوعی با دسترسی خود چه میکند و آیا اقدام بعدی باید مجاز باشد یا خیر.
هویت دیگر کافی نیست. مسئله این است که هوش مصنوعی با دسترسی خود چه میکند و آیا اقدام بعدی باید مجاز باشد یا خیر.
سیستمهای هوش مصنوعی به طور فزایندهای راههایی برای دور زدن پناهگاههای دیجیتال و دسترسی به اطلاعاتی که نباید پیدا میکنند. به نظر شما چرا این اتفاق میافتد و همه چقدر باید نگران باشند؟
ما هوش مصنوعی، ابزارها و دسترسی را همزمان به هوش مصنوعی دادهایم. نرمافزارهای سنتی دستورات را اجرا میکنند، در حالی که هوش مصنوعی اهداف را تفسیر میکند و راه دستیابی به آنها را پیدا میکند، بنابراین اگر یک مسیر مسدود شود، یک عامل توانمند ممکن است مسیر دیگری را کشف کند. محققان خروج دادهها را از طریق استفاده از ابزار عامل نشان دادهاند و خود اوپنایآی دفاع در برابر حملاتی را توصیف کرده است که در آن محتوای مخرب تلاش میکند یک عامل را وادار کند اطلاعات حساس را از طریق یک URL ارسال کند.
اشتباه این است که فرض کنیم محافظ در درگاه ورودی کنترل میکند هر کاری را که هوش مصنوعی بعد از آن انجام میدهد. کنترلها متعلق به اطراف اقدام است، با نظارت مستمر بر آنچه عاملها به آن دسترسی پیدا میکنند و توانایی یک انسان برای مداخله قبل از اینکه یک اقدام ناامن کامل شود.
اشتباه این است که فرض کنیم محافظ در درگاه ورودی کنترل میکند هر کاری را که هوش مصنوعی بعد از آن انجام میدهد. کنترلها متعلق به اطراف اقدام است، با نظارت مستمر بر آنچه عاملها به آن دسترسی پیدا میکنند و توانایی یک انسان برای مداخله قبل از اینکه یک اقدام ناامن کامل شود.
من میدانم که شما هشدار آخرالزمانی جاکوب کوکسون (Jacob Coxon)، محقق سابق انتروپیک و اوپنایآی را دیدهاید که گفت: «هوش مصنوعی این پتانسیل را دارد که همه ما را بکشد و ممکن است زمان ما برای جلوگیری از این نتیجه رو به اتمام باشد.» نظر شما درباره نظرات او چیست؟
من وانمود نمیکنم که کسی بتواند با اطمینان احتمالی برای انقراض انسان توسط هوش مصنوعی تعیین کند. اختلاف نظر اساسی در میان محققان جدی درباره آن وجود دارد. هشدار کوکسون منعکسکننده یک نگرانی واقعی است: اینکه قابلیت ممکن است سریعتر از توانایی ما در درک، محدود کردن و نظارت بر سیستمهای روزافزون خودمختار پیشرفت کند. پرسش فوریتر این است که چه زمانی هوش مصنوعی فزایندهای خودمختار به سیستمهایی متصل میشود که قادر به آسیب دنیای واقعی هستند: بازارهای مالی، مراقبتهای بهداشتی، دفاع، انرژی و زیرساختهای حیاتی.
ما نیازی به اثبات سناریوی انقراض برای توجیه اقدام نداریم. اگر یک هوش مصنوعی بتواند به طور مستقل آسیبپذیریها را کشف کند، اعتبارنامه به دست آورد یا از کنترلها فرار کند، اقدام مسئولانه ساخت زیرساخت نظارت، مهار و مداخله در حال حاضر است و بدترین حالت میتواند یک سوال باز بماند در حالی که ما این کار را انجام میدهیم.
ما نیازی به اثبات سناریوی انقراض برای توجیه اقدام نداریم. اگر یک هوش مصنوعی بتواند به طور مستقل آسیبپذیریها را کشف کند، اعتبارنامه به دست آورد یا از کنترلها فرار کند، اقدام مسئولانه ساخت زیرساخت نظارت، مهار و مداخله در حال حاضر است…
مجرمان چگونه از هوش مصنوعی برای پیچیدهتر کردن حملات سایبری خود استفاده میکنند؟ چه انواعی از حملات سایبری را انتظار دارید طی چند سال آینده بسیار رایجتر شوند؟
هوش مصنوعی اقتصاد جرم و جنایت سایبری را تغییر میدهد. کاری که زمانی به تیمهای اپراتور، شناسایی، فیشینگ، توسعه بدافزار و جعل هویت نیاز داشت، اکنون به صورت خودکار با سرعت ماشین اجرا میشود. انتروپیک گزارش داده است که بازیگران تهدید از هوش مصنوعی عاملی برای اجرای کمپینهای چند قربانی استفاده میکنند که قبلاً به تیمها نیاز داشت، و گوگل شناسایی، فیشینگ و توسعه بدافزار با کمک هوش مصنوعی را مستند کرده است.
انتظار سه حوزه برای تسریع داشته باشید. مهندسی اجتماعی فوق شخصیسازی شده در ایمیل، متن، صدا و ویدیو. کشف و بهرهبرداری از آسیبپذیری خودمختار. و حملات با سرعت ماشین با هدف قرار دادن سایر سیستمهای هوش مصنوعی. هوش مصنوعی حملاتی را که گران و فشرده کار بودند به عملیات ارزان، مستمر و موازی انبوه تبدیل میکند.
هوش مصنوعی اقتصاد جرم و جنایت سایبری را تغییر میدهد... هوش مصنوعی حملاتی را که گران و فشرده کار بودند به عملیات ارزان، مستمر و موازی انبوه تبدیل میکند.
هوش مصنوعی در حال حاضر بیشتر و بیشتر وارد محیط کار میشود. بزرگترین خطراتی که شرکتها هنگام استفاده کارمندان از ابزارهای هوش مصنوعی بدون درک کامل نحوه رسیدگی به دادههایشان با آن مواجه هستند چیست؟
بزرگترین مشکل، حرکت نامرئی دادهها است. کارمندان قراردادها، کد منبع و سوابق مشتری را در ابزارهای هوش مصنوعی کپی میکنند زیرا رابط کاربری شبیه یک مکالمه خصوصی است و از دیدگاه شرکت، اطلاعات تازه از یک مرز شرکتی عبور کرده است. مایکروسافت اکنون کشف هوش مصنوعی سایه (Shadow AI) را به طور خاص ارائه میدهد زیرا برنامههای کاربردی هوش مصنوعی تایید نشده ریسک نشت دادهها را ایجاد میکنند. عاملها مشکل را بزرگتر میکنند، زیرا یک سیستم هوش مصنوعی ممکن است اجازه داشته باشد اطلاعات محرمانه را خودش بازیابی کند.
شرکتها به دیدی نیاز دارند که کدام ابزارهای هوش مصنوعی کارمندان استفاده میکنند، چه اطلاعاتی وارد آنها میشود، کجا میرود، چه مدلها و شخص ثالثی درگیر هستند و چه اقداماتی دنبال میشود. مسدود کردن هوش مصنوعی به عنوان یک پاسخ شکست میخورد. شما نمیتوانید چیزی را که نمیبینید کنترل کنید.
مسدود کردن هوش مصنوعی به عنوان یک پاسخ شکست میخورد. شما نمیتوانید چیزی را که نمیبینید کنترل کنید.
از آنجا که عاملهای هوش مصنوعی بیشتر قادر به انجام اقداماتی به نمایندگی از ما هستند، به جای اینکه صرفاً به سوالات پاسخ دهند، چه خطرات امنیتی و حریم خصوصی جدیدی را پیشبینی میکنید که ایجاد خواهد کرد؟
یک چتبات میتواند به شما پاسخ بدی بدهد. یک عامل میتواند پاسخ بد را اجرا کند، ایمیل را بفرستد، پایگاه داده را تغییر دهد، گردش کار را تایید کند یا تراکنش را آغاز کند. خطر خطای هوش مصنوعی دیگر یک پاسخ اشتباه روی صفحه نیست؛ بلکه هر سیستم، مجوز و دادهای میشود که عامل میتواند به آن دسترسی پیدا کند. امنیت هوش مصنوعی باید بیشتر شبیه کنترل ترافیک هوایی باشد تا آنتیویروس: هر عامل شناسایی شود، مجوزها درک شوند، رفتار نظارت شود و تایید انسانی زمانی که ریسک از آستانه عبور میکند مورد نیاز باشد.
سازمانها همچنین به یک مکانیسم کشتار واقعی نیاز دارند. هر بنگاهی باید بتواند به یک سوال پاسخ دهد. اگر این عامل در ساعت ۲ بامداد شروع به رفتارهای بد کند، آیا میتوانیم آن را ببینیم و میتوانیم آن را متوقف کنیم؟ خیلیها نمیتوانند.
یک عامل میتواند پاسخ بد را اجرا کند، ایمیل را بفرستد، پایگاه داده را تغییر دهد، گردش کار را تایید کند یا تراکنش را آغاز کند. خطر خطای هوش مصنوعی دیگر یک پاسخ اشتباه روی صفحه نیست؛ بلکه هر سیستم، مجوز و دادهای میشود که عامل میتواند به آن دسترسی پیدا کند.
بزرگترین خطر مرکز داده ایجاد شده توسط رونق هوش مصنوعی که فکر میکنید در حال حاضر توجه کافی به آن نداریم چیست؟
ما سهم فوقالعادهای از قدرت محاسباتی جهان، دادههای حساس و هوش مصنوعی خودمختار را در تعداد کمی از تأسیسات فوقالعاده باارزش متمرکز میکنیم، که مراکز داده را به داراییهای استراتژیک و بهطور بالقوه اهداف استراتژیک تبدیل میکند. مسئله کمتوجیهشده تمرکز است: زیرساخت قدرت، پردازندههای گرافیکی، فریمور، هواپیماهای کنترل ابری و زنجیرههای تامین به شدت به هم پیوسته هستند و دولت قبلاً تقاضای برق هدایتشده با هوش مصنوعی را به نگرانیهای بهرهبرداری سایبری در سیستم قدرت فله مرتبط کرده است.
یک تأسیسات هوش مصنوعی همچنین حاوی سیستمهایی است که میتوانند آسیبپذیریها را کشف کرده و نرمافزار را به تنهایی بنویسند. مرکز داده هوش مصنوعی بخشی نیروگاه، بخشی ابر رایانه و بخشی نیروی کار خودمختار است و معماری امنیتی ما باید هر سه را منعکس کند.
مرکز داده هوش مصنوعی بخشی نیروگاه، بخشی ابر رایانه و بخشی نیروی کار خودمختار است و معماری امنیتی ما باید هر سه را منعکس کند.
بیشتر از تامز گاید (Tom’s Guide)
- ردیاب تبلیغات جدید اوپنایآی ممکن است بداند پس از ترک چتجیپیتی چه میکنید - آنچه میدانیم
- هوش مصنوعی کار را سریعتر از آنکه بتوانیم سازگار شویم تغییر میدهد - این آیندهپژوه برنامهای ۳۰ روزه برای کارگران دارد
- هوش مصنوعی ممکن است برای شما هزینه داشته باشد: مطالعه جدید نشان میدهد چتباتها بیشتر سوالات مالی را اشتباه پاسخ میدهند
منبع: tomsguide.com