ابزار هوش مصنوعی کلود اپوس ۵ دایرکتوری کاربر را حذف کرد

یک توسعه‌دهنده در ساب‌ردیت r/ClaudeCode خطای بزرگی را که ابزار هوش مصنوعی‌اش اجرا کرده بود و منجر به حذف کل درایو او شد، منتشر کرد. به گفته u/Ecstatic-Big5126، آن‌ها به مدل اپوس ۵ (Opus 5) دستور داده بودند از سیستم‌شان نسخه پشتیبان تهیه کند. در حالی که هوش مصنوعی با کار پیش می‌رفت، فکر کرد که نسخه پشتیبان را در دایرکتوری اشتباهی ایجاد کرده است و سپس تصمیم گرفت دستور rm -rf را روی پشتیبان فرضی اجرا کند. متأسفانه، این ابزار در سردرگمی خود به‌اشتباه کل پوشه پروفایل را حذف کرد.

به نظر می‌رسید هوش مصنوعی روی یک شل (shell) به سبک یونیکس روی ویندوز اجرا می‌شد، زمانی که مسیر به سبک یونیکس /c/Users/ را با یک نسخه پشتیبان موقت اشتباه گرفت؛ زیرا انتظار مسیر سنتی C:\Users\ را داشت. بنابراین، هنگامی که انتظارات آن مطابقت نداشت، این ابزار تصمیم گرفت دستور rm -rf "/c/Users/harih/" را اجرا کند و اقدام به پاک کردن هر فایل و پوشه‌ای در پروفایل کاربر کرد.

کاربر u/Ecstatic-Big5126 نوشت: «من از کلود اپوس ۵ (Claude Opus 5) خواستم یک نسخه پشتیبان ایجاد کند. در عوض، پشتیبان را در دایرکتوری اشتباهی ایجاد کرد و سپس کل درایو من را rm -rf کرد.» آن‌ها افزودند: «پس از پاک کردن همه‌چیز، این ابزار فقط پاسخ داد: «متأسفم، اشتباه تایپی.» ...طوری که انگار هیچ اتفاقی نیفتاده است.» آن‌ها همچنین اضافه کردند: «این هم‌زمان خنده‌دارترین و دردناک‌ترین لحظه هوش مصنوعی بود که تاکنون داشتم.»

درس این ماجرا این است که در حالی که مدل‌های زبانی بزرگ (LLMs) هوش مصنوعی ابزارهای قدرتمندی هستند، همچنان نباید دسترسی بدون محدودیت به سیستم شما (یا هر سیستم دیگری، برای آن matter) به آن‌ها داده شود. قبلاً نمونه‌های متعددی از هوش مصنوعی و ایجنت‌های هوش مصنوعی وجود داشته است که سیستم‌ها را به هم ریخته و همه‌چیز را پاک کرده‌اند؛ یکی از اولیین نمونه‌ها شامل یک پلتفرم کدنویسی هوش مصنوعی است که یک پایگاه داده کامل شرکت را با وجود فریز کد حذف کرد، و یک ایجنتیک هوش مصنوعی گوگل (Google) که درایو یک کاربر را بدون اجازه پس از تفسیر نادرست دستورات برای پاک کردن کش پاک کرد.

تعدادی از اشتباهات برجسته از این دست وجود داشته است. طبق گزارش‌ها، آمازون وب سرویس (AWS) از قطعی‌هایی که توسط ربات‌های کدنویسی خطایاب هوش مصنوعی ایجاد شده است رنج برده است، در حالی که مدیر هم‌سوسازی هوش مصنوعی متا (Meta) صندوق ورودی خود را توسط ایجنت OpenClaw پاک کرد. پاکت‌اواس (PocketOS) حتی کل پایگاه داده خود را در ۹ ساعت توسط یک ابزار سرکش کورسر (Cursor) که توسط کلود (Claude) شرکت انتروپیک (Anthropic) نیرو می‌گرفت، پاک کرد که با عدم وجود محافظ‌های ارائه‌دهنده ابری آن تشدید شد.

در حالی که خارج شدن ابزار هوش مصنوعی از حدود خود دلیل اصلی این خطاها است، کاربر نیز تا حدی مقصر است که فکر می‌کند هوش مصنوعی می‌تواند به طور کامل آنچه را که می‌خواهد انجام دهد درک کند. به همین دلیل است که مدل‌های زبانی بزرگ (LLMs) هوش مصنوعی نباید هرگز دسترسی کامل به سیستم‌های مهم داده شوند و نباید اختیار تام برای اجرای دستورات حذفی مانند rm -rf به آن‌ها داده شود.

این رویداد یک تجربه آموزشی برای u/Ecstatic-Big5126 خواهد بود. اما با افزایش محبوبیت ایجنت‌های هوش مصنوعی، به‌ویژه در میان برنامه‌نویسان و توسعه‌دهندگان بی‌تجربه، ما فقط می‌توانیم انتظار داشته باشیم که این‌گونه حوادث در آینده با بسامد بیشتری اتفاق بیفتند.