یک توسعهدهنده در سابردیت r/ClaudeCode خطای بزرگی را که ابزار هوش مصنوعی آنها اجرا کرده بود و منجر به حذف کل درایو آنها شد، پست کرد. بر اساس گزارش کاربر u/Ecstatic-Big5126، آنها به مدل Opus 5 دستور دادند که از سیستمشان نسخه پشتیبان (backup) تهیهکند. در حالی که هوش مصنوعی با کار پیش میرفت، فکر کرد که نسخه پشتیبان را در دایرکتوری اشتباهی ایجاد کرده است و سپس تصمیم گرفت یک دستور «rm -rf» را روی پشتیبان فرضی اجرا کند. متأسفانه، این ابزار در سردرگمی خود به اشتباه کل پوشه پروفایل را حذف کرد.
به نظر میرسید که هوش مصنوعی در حال اجرا روی یک شل به سبک یونیکس (Unix-style shell) در ویندوز (Windows) بوده است که مسیر به سبک یونیکس /c/Users/ را با یک پشتیبان موقت اشتباه گرفته است، زیرا انتظار مسیر سنتی C:\Users\ را داشت. بنابراین، هنگامی که انتظاراتش مطابقت نداشت، این ابزار تصمیم گرفت دستور rm -rf “/c/Users/harih/” را اجرا کند و تمام فایلها و پوشههای موجود در پروفایل کاربر را پاکسازی کند.
کاربر u/Ecstatic-Big5126 نوشت: «من از کلود اپوس ۵ (Claude Opus 5) خواستم یک نسخه پشتیبان ایجاد کند. در عوض، آن را در دایرکتوری اشتباهی ایجاد کرد و سپس کل درایو من را “rm -rf” کرد.» آنها افزودند: «بعد از پاک کردن همهچیز، فقط پاسخ داد: «متأسفم، خطای تایپی.» ...طوری که انگار هیچ اتفاقی نیافتاده است.» آنها همچنین اضافه کردند: «این همزمان خندهدارترین و دردناکترین لحظه هوش مصنوعی بود که تا به حال داشتهام.»
درس اینجا این است که در حالی که مدلهای زبان بزرگ (LLMs) هوش مصنوعی ابزارهای قدرتمندی هستند، باز هم نباید به آنها دسترسی بیقید و شرط به سیستم شما (یا هر سیستمی از این دست) داده شود. در حال حاضر نمونههای متعددی از هوش مصنوعی و ایجنتهای هوش مصنوعی وجود دارد که سیستمها را به هم ریخته و همهچیز را حذف کردهاند - یکی از اولیین نمونهها شامل یک پلتفرم کدنویسی هوش مصنوعی است که پایگاه داده کل یک شرکت را با وجود فریز کد حذف کرد، و یک ایجنت هوش مصنوعی گوگل که هارد دیسک کامل یک کاربر را بدون اجازه پاک کرد.
تعداد قابل توجهی از اشتباهات پر سر و صدا از این دست وجود داشته است. گزارشها حاکی از آن است که آمازون وب سرویس (AWS) دچار قطعیهایی شده است که توسط رباتهای کدنویسی اشتباهکار هوش مصنوعی ایجاد شدهاند، در حالی که صندوق پستی مدیر همسویی هوش مصنوعی متا توسط ایجنت OpenClaw او پاکسازی شد. حتی پایگاه داده کامل PocketOS طی نه ثانیه توسط یک ابزار سرکش Cursor که توسط کلود آنتروپیک پشتیبانی میشد پاک شد که این موضوع با عدم وجود ضمانتهای امنیتی ارائهدهنده ابری آن تشدید شد.
در حالی که خارج شدن ابزار هوش مصنوعی از حدود خود دلیل اصلی این خطاها است، کاربر نیز تا حدی مقصر است که فکر میکند هوش مصنوعی میتواند به طور کامل آنچه را که او میخواهد انجام دهد درک کند. به همین دلیل است که هرگز نباید به مدلهای زبان بزرگ هوش مصنوعی دسترسی کامل به سیستمهای مهم داده شود و نباید به آنها اجازه داد آزادانه دستورات حذفی مانند «rm -rf» را اجرا کنند.
این رویداد یک تجربه آموزشی برای u/Ecstatic-Big5126 خواهد بود. اما با افزایش محبوبیت ایجنتهای هوش مصنوعی، بهویژه در میان برنامهنویسان و توسعهدهندگان بیتجربه، فقط میتوان انتظار داشت که حوادثی از این دست در آینده با دفعات بیشتری رخ دهد.
