یک توسعهدهنده در سابردیت r/ClaudeCode خطای بزرگی را که ابزار هوش مصنوعیاش مرتکب شده بود و به حذف کل درایو او منجر شد، منتشر کرد. طبق گفته کاربر u/Ecstatic-Big5126، آنها به مدل کلود اپوس ۵ (Claude Opus 5) دستور داده بودند تا از سیستمشان نسخه پشتیبان (Backup) تهیه کند. در حالی که هوش مصنوعی در حال انجام این کار بود، تصور کرد که نسخه پشتیبان را در دایرکتوری اشتباهی ایجاد کرده است و سپس تصمیم گرفت دستور rm -rf را روی پوشه پشتیبان فرضی اجرا کند. متأسفانه، این ابزار در اثر اشتباه و سردرگمی، کل پوشه پروفایل کاربری را پاک کرد.
به نظر میرسید هوش مصنوعی روی یک شل سبک یونیکس (Unix-style shell) در ویندوز (Windows) در حال اجرا بوده که مسیر سبک یونیکس /c/Users/ را با یک نسخه پشتیبان موقت اشتباه گرفته است، زیرا انتظار مسیر سنتی C:\Users\ را داشت. بنابراین، هنگامی که انتظاراتش برآورده نشد، این ابزار تصمیم گرفت دستور rm -rf “/c/Users/harih/” را اجرا کند و به پاکسازی تکتک فایلها و پوشههای موجود در پروفایل کاربر پرداخت.
کاربر u/Ecstatic-Big5126 نوشت: «من از کلود اپوس ۵ خواستم که یک نسخه پشتیبان تهیه کند. در عوض، آن را در دایرکتوری اشتباهی ایجاد کرد و سپس به پاک کردن (rm -rf) کل درایو من پرداخت.» آنها افزودند: «پس از پاک کردن همهچیز، فقط پاسخ داد: "متأسفم، خطای تایپی بود." ...انگار هیچ اتفاقی نیفته بود.» آنها همچنین اضافه کردند: «این همزمان خندهدارترین و دردناکترین لحظه هوش مصنوعی بود که تاکنون داشتم.»
درس این ماجرا این است که اگرچه مدلهای زبان بزرگ (LLM) هوش مصنوعی ابزارهای قدرتمندی هستند، اما نباید به آنها دسترسی کامل و بیحدومرز به سیستم خود (یا هر سیستم دیگری) داده شود. تاکنون نمونههای متعددی از هوش مصنوعی و عوامل هوش مصنوعی وجود داشته که سیستمها را به هم ریخته و همهچیز را پاک کردهاند؛ یکی از اولیین نمونهها شامل یک پلتفرم کدنویسی هوش مصنوعی است که یک پایگاهداده کامل شرکت را با وجود فریز کد حذف کرد، و یک هوش مصنوعی عاملمحور گوگل که درایو یک کاربر را بدون اجازه پاک کرد.
موارد زیادی از این دست اشتباهات برجسته رخ داده است. گزارش شده است که وب سرویس آمازون (AWS) از قطعیهایی رنج برده که توسط رباتهای کدنویسی خطاکار هوش مصنوعی ایجاد شدهاند، در حالی که مدیر همسوسازی هوش مصنوعی متا (Meta) صندوق ورودی ایمیل خود را توسط عامل OpenClaw از دست داد. شرکت PocketOS حتی کل پایگاهداده خود را در عرض نه سرعتی معادل نه ثانیه توسط یک ابزار سرکش کورسور (Cursor) از دست داد که با نبود محافظهای ارائهدهنده ابری آن تشدید شد.
در حالی که خارج شدن ابزار هوش مصنوعی از چارچوب خود دلیل اصلی این خطاها است، کاربر نیز تا حدی مقصر است که فکر میکند هوش مصنوعی میتواند به طور کامل بفهمد آنها چه میخواهند. به همین دلیل است که هرگز نباید به مدلهای زبان بزرگ هوش مصنوعی دسترسی کامل به سیستمهای مهم داده شود و آنها نباید آزادی عمل برای اجرای دستورات حذفی مانند rm -rf را داشته باشند.
این رویداد یک تجربه آموزشی برای کاربر u/Ecstatic-Big5126 خواهد بود. اما با افزایش محبوبیت عوامل هوش مصنوعی، بهویژه در میان برنامهنویسان و توسعهدهندگان بیتجربه، ما فقط میتوانیم انتظار داشته باشیم که اینگونه حوادث در آینده با بسامد بیشتری اتفاق بیفتند.