یک کشاورز مسن در کوچو (Chuzhou)، چین، از زمان شروع استفاده از هوش مصنوعی در یک سال گذشته، توصیههای آن را دنبال میکرده است، اما پس از ماهها تعامل، اخیراً توصیهی بسیار بدی ارائه داد که منجر به نابودی کل محصول او شد. بر اساس گزارش رسانه تایوانی CTWANT (ترجمه ماشینی)، وو (Wu)، کشاورز ۶۷ ساله، در ابتدا به برنامهی هوش مصنوعی اعتماد نداشت، اما در نهایت پس از اینکه کاربرد آن ثابت شد، نظر خود را تغییر داد. متأسفانه، این اشتباه بسیار فاجعهبار از آب درآمد، زیرا مستقیماً باعث از بین رفتن ۱۵۰ مو (mu)، معادل ۲۴.۷ جریب، از نهالهای کنجد شد.
وو از هوش مصنوعی برای کنترل علفهای هرز و آفات مشاوره خواست و پس از آن، این ابزار «کنترل علفهای هرز کنجد صد جریب + کنترل آفات» را پیشنهاد داد و توصیه کرد که از «فلوبریماتالین با راندمان بالا» (high-efficiency flupyrimethalin) و «فلوسولفاسولفاتر» (flusulfasulfaether) برای از بین بردن علفهای هرز استفاده کنند و آن را با «تیامتوکسام» (thiamethoxazine) و «نمک متیل» (methyl salt) مخلوط نمایند. این کشاورز بدون تأیید اطلاعات توسط تکنسینهای کشاورزی (یا حتی بررسی مجدد پاسخهای آن به صورت آنلاین)، مو به مو از توصیهی هوش مصنوعی پیروی کرد.
روز بعد
نتیجهی اشتباه هوش مصنوعی به سرعت نمایان شد، به طوری که دقیقاً روز بعد، علفهای هرز و نهالهای کنجد به صورت دستهجمعی از بین رفتند. وو طی یک مصاحبهی ویدیویی گفت: «اگر آن را سمپاشی کنید، روز بعد نهالها زنده نمیمانند. هم علفها و هم نهالها میمیرند و نهالها حتی سریعتر میمیرند.»
هنگامی که او از هوش مصنوعی پرسید چرا این اتفاق افتاده است، این ابزار پیشنهاد کرد که «فلوسولفاسولفاتر» ممکن است عامل این مشکل باشد. کارشناسان کشاورزی گفتند که این مادهی شیمیایی در درجهی اول علیه علفهای هرز پهنبرگ در مزارع سویا استفاده میشود. وزارت کشاورزی ایالات متحده (USDA) کنجد را به عنوان یک گیاه پهنبرگ دستهبندی میکند، به این معنی که این علفکش به راحتی روی آن نیز تأثیر میگذارد. علاوه بر این، این مادهی شیمیایی برای سمپاشی هدفمند فقط در مناطق آسیبدیده طراحی شده است و نباید روی کل مزرعه اعمال شود. این کشاورز ادعا کرد که هوش مصنوعی خطرات پیروی از پاسخهایش را به او هشدار نداده است، اما صفحهی چت آن دارای یادآوری بود که میگفت: «تولید هوش مصنوعی ممکن است نادرست باشد، لطفاً راستیآزمایی کنید.»
اگرچه هوش مصنوعی ابزار قدرتمندی است، اما سابقهای در ارائه توصیههای بد و اتخاذ تصمیمات اشتباه نیز دارد. همین چند روز پیش، یک توسعهدهنده در طول یک روش پشتیبانگیری معمولی و پس از مواجهه با یک خطای تایپی، کل دایرکتوری پروفایل خود را حذف شده دید. حتی مدیر همسوسازی هوش مصنوعی متا (Meta) نیز قربانی این موضوع شد، پس از اینکه مجبور شد عامل هوش مصنوعی خود را به صورت دستی متوقف کند تا از پاکسازی تصادفی کل صندوق ورودی ایمیلهایش جلوگیری کند. به همین دلیل است که برای کاربران بسیار ضروری است که هر بار از هوش مصنوعی استفاده میکنند، از محدودیتهای آن آگاه باشند.
این یکی از اولین مواردی است که در آن گزارش دادهایم یک اشتباه هوش مصنوعی منجر به عواقبی فیزیکی در دنیای واقعی شده است. همچنین ما نمیتوانیم به طور کامل شخص را به خاطر اعتماد به ابزار سرزنش کنیم - بالاخره او در ابتدا نسبت به آن شکاک بود، به این معنی که ابزار نتایجی تولید کرده بود که باعث شد کشاورز به مرور زمان به آن اعتماد کند. اما حتی اگر خروجی یک هوش مصنوعی اخیراً قابل اعتماد بوده باشد، این بدان معنا نیست که کاملاً قابل اعتماد است. از این گذشته، مدلهای زبانی بزرگ (LLMs) فعلی چیزی جز موتورهای پیشبینی نیستند - شما نمیتوانید هر بار که از آنها استفاده میکنید پاسخ درستی را تضمین کنید، بهویژه اگر آنها روی یک پایگاه دانش عمومی آموزش دیده باشند که مجموعه دادهی آنها به طور کامل برای دقت و صحت فیلتر نشده است.