یک کشاورز مسن در کوچو (Chuzhou)، چین، از زمانی که یک سال پیش استفاده از هوش مصنوعی را آغاز کرده بود، از توصیههای آن پیروی میکرد، اما پس از ماهها تعامل، اخیراً توصیههای بسیار بدی ارائه داد که منجر به مرگ تمام محصولات او شد. بر اساس گزارش رسانه تایوانی سیتیوانت (CTWANT) [ترجمه شده توسط ماشین]، وو (Wu) ۶۷ ساله ابتدا به برنامه هوش مصنوعی اعتماد نداشت، اما در نهایت پس از اینکه کاربرد آن ثابت شد، نظر خود را تغییر داد. متأسفانه، این اشتباه فاجعهبار از آب درآمد، زیرا مستقیماً باعث مرگ ۱۵۰ مو (mu)، معادل ۲۴.۷ جریب، از جوانه کنجد شد.
وو از هوش مصنوعی برای مشاوره در مورد کنترل علفهای هرز و آفات درخواست راهنمایی کرد و پس از آن، این ابزار «کنترل علفهای هرز کنجد + کنترل آفات صد جریب» را ارائه داد و توصیه کرد که از «فلوپریماتالین با راندمان بالا» و «فلو سولفاسولفا اتر» برای از بین بردن علفهای هرز استفاده کنند و آن را با «تیامتوکسام» و «متیل نمک» مخلوط کنند. این کشاورز بدون تأیید اطلاعات توسط تکنسینهای کشاورزی (یا حتی بررسی مجدد پاسخهای آن به صورت آنلاین)، مو به مو از توصیههای هوش مصنوعی پیروی کرد.
فردای آن روز
نتیجه اشتباه هوش مصنوعی به سرعت آشکار شد، به طوری که درست روز بعد، علفهای هرز و جوانههای کنجد به صورت دستهجمعی از بین رفتند. وو طی یک مصاحبه ویدئویی گفت: «اگر آن را سمپاشی کنید، روز بعد جوانهها زنده نمیمانند. هم علف و هم جوانهها میمیرند و جوانهها حتی سریعتر میمیرند.»
هنگامی که او از هوش مصنوعی پرسید چرا این اتفاق افتاده است، این ابزار پیشنهاد کرد که «فلو سولفاسولفا اتر» ممکن است عامل این مشکل باشد. کارشناسان کشاورزی گفتند که این ماده شیمیایی اساساً علیه علفهای هرز پهنبرگ در مزارع سویا استفاده میشود. وزارت کشاورزی ایالات متحده (USDA) کنجد را به عنوان یک گیاه پهنبرگ دستهبندی میکند، به این معنی که به راحتی تحت تأثیر این علفکش قرار میگیرد. علاوه بر این، این ماده شیمیایی برای سمپاشی هدفمند تنها در مناطق آسیبدیده طراحی شده است و نباید روی کل مزرعه اعمال شود. این کشاورز ادعا کرد که هوش مصنوعی خطرات پیروی از پاسخهایش را به او هشدار نداده است، اما صفحه چت آن یادآوری داشت که میگفت: «تولید هوش مصنوعی ممکن است نادرست باشد، لطفاً بررسی کنید.»
اگرچه هوش مصنوعی ابزاری قدرتمند است، اما سابقه ارائه توصیههای بد و تصمیمگیریهای نادرست را نیز دارد. همین چند روز پیش، یک توسعهدهنده در طول یک روش پشتیبانگیری معمولی پس از مواجهه با یک خطای تایپی، کل دایرکتوری پروفایل خود را حذف شده دید. حتی مدیر همسوسازی هوش مصنوعی متا (Meta) نیز قربانی این موضوع شد، پس از اینکه مجبور شد دستیار هوش مصنوعی خود را به صورت دستی متوقف کند تا از پاکسازی تصادفی کل صندوق ورودی ایمیلش جلوگیری کند. به همین دلیل است که کاربران باید هر بار که از هوش مصنوعی استفاده میکنند، از محدودیتهای آن آگاه باشند.
این یکی از اولین مواردی است که در آن گزارشی از خطای هوش مصنوعی منجر به یک پیامد فیزیکی در دنیای واقعی میشود. ما همچنین نمیتوانیم آن فرد را به طور کامل برای اعتماد به ابزار سرزنش کنیم - از این گذشته، او در ابتدا نسبت به آن شکاک بود، به این معنی که نتایجی تولید کرد که باعث شد کشاورز به مرور زمان به آن اعتماد کند. اما حتی اگر خروجی هوش مصنوعی اخیراً قابل اعتماد بوده باشد، به این معنا نیست که کاملاً قابل اعتماد است. از این گذشته، مدلهای زبانی بزرگ (LLMs) فعلی چیزی جز موتورهای پیشبینی نیستند - شما نمیتوانید هر بار که از آنها استفاده میکنید پاسخ درستی را تضمین کنید، بهویژه اگر روی یک پایگاه دانش عمومی آموزش دیده باشند که مجموعه دادههای آنها بهطور کامل برای دقت و واقعسنجی فیلتر نشده است.