یک توسعهدهنده در سابردیت r/ClaudeCode خطای بزرگی را که ابزار هوش مصنوعیاش اجرا کرده بود و منجر به حذف کل درایو او شده بود، منتشر کرد. بر اساس گزارش کاربر u/Ecstatic-Big5126، آنها به مدل کلود اپوس ۵ (Claude Opus 5) دستور دادند تا از سیستم آنها نسخه پشتیبان تهیه کند. در حالی که هوش مصنوعی با کار پیش میرفت، تصور کرد که نسخه پشتیبان را در پوشه اشتباهی ایجاد کرده است و سپس تصمیم گرفت دستور rm -rf را روی پشتیبان فرضی اجرا کند. متأسفانه، این ابزار به دلیل سردرگمی، به اشتباه کل پوشه پروفایل را حذف کرد.
به نظر میرسید که هوش مصنوعی در حال اجرا روی یک شل سبک یونیکس (Unix-style shell) در ویندوز (Windows) بوده است که مسیر به سبک یونیکس /c/Users/ را با یک نسخه پشتیبان موقت اشتباه گرفته است، زیرا انتظار مسیر سنتی C:\Users\ را داشت. بنابراین، هنگامی که انتظارات آن مطابقت نداشت، این ابزار تصمیم گرفت دستور rm -rf "/c/Users/harih/" را اجرا کند و به پاک کردن هر فایل و پوشهای در پروفایل کاربر ادامه داد.
کاربر u/Ecstatic-Big5126 نوشت: «من از کلود اپوس ۵ خواستم که یک نسخه پشتیبان تهیه کند. در عوض، نسخه پشتیبان را در پوشه اشتباهی ایجاد کرد و سپس به rm -rf کردن کل درایو من پرداخت.» آنها افزودند: «پس از پاک کردن همهچیز، این ابزار فقط پاسخ داد: "متأسفم، خطای تایپی." ...طوری که انگار هیچ اتفاقی نیفتاده است.» آنها همچنین اضافه کردند: «این همزمان خندهدارترین و دردناکترین لحظه هوش مصنوعی بود که تاکنون داشتم.»
درس اینجا این است که در حالی که مدلهای زبانی بزرگ هوش مصنوعی (LLMs) ابزارهای قدرتمندی هستند، اما باز هم نباید به آنها دسترسی بینهایت به سیستم شما (یا هر سیستم دیگری برای آن موضوع) داده شود. در حال حاضر چندین نمونه از هوش مصنوعی و ایجنتهای هوش مصنوعی وجود دارد که سیستمها را به هم ریخته و همهچیز را حذف کردهاند — یکی از اولین نمونهها شامل یک پلتفرم کدنویسی هوش مصنوعی است که پایگاه داده کل یک شرکت را با وجود فریز کد حذف کرد و یک هوش مصنوعی عاملی گوگل (Google agentic AI) که درایو سخت یک کاربر را پاک کرد بدون اینکه اجازهای داشته باشد.
تعداد زیادی از اشتباهات برجسته از این نوع وجود داشته است. گزارش شده است که آمازون وب سرویس (AWS) دچار قطعیهایی شده است که توسط رباتهای کدنویسی هوش مصنوعی احمقانه ایجاد شدهاند، در حالی که صندوق پستی مدیر همسویی هوش مصنوعی متا (Meta AI Alignment director) توسط ایجنت OpenClaw او پاک شد. شرکت پاکتاواس (PocketOS) حتی شاهد این بود که پایگاه داده کامل آن در نه ثانیه توسط یک ابزار سرکش کورسر (Cursor) پاک شد، که با عدم وجود محافظهای ارائهدهنده ابری آن تشدید شد.
در حالی که خارج شدن ابزار هوش مصنوعی از حد و مرز خود دلیل اصلی این خطاها است، کاربر نیز تا حدی مقصر است که فکر میکند هوش مصنوعی میتواند به طور کامل بفهمد که آنها چه چیزی از او میخواهند. به همین دلیل است که مدلهای زبانی بزرگ هوش مصنوعی نباید هرگز دسترسی کامل به سیستمهای مهم داده شوند و نباید آزادی عمل برای اجرای دستورات حذفی مانند "rm -rf" داشته باشند.
این رویداد یک تجربه یادگیری برای کاربر u/Ecstatic-Big5126 خواهد بود. اما با افزایش محبوبیت ایجنتهای هوش مصنوعی، بهویژه در میان برنامهنویسان و توسعهدهندگان بیتجربه، ما فقط میتوانیم انتظار داشته باشیم که چنین حوادثی در آینده با فرکانس بیشتری رخ دهند.