ممکن است متوجه شده باشید: ناگهان همه درباره این موضوع صحبت میکنند که هوش مصنوعی ممکن است ما را بکشد.
آخرین موج اضطراب با جیکوب کوکسون (Jacob Coxon)، یک پژوهشگر هوش مصنوعی (AI) ۲۷ ساله که سه سال را صرف کار روی پیشآموزش در شرکتهای اوپنایآی (OpenAI) و انتروپیک (Anthropic) کرده بود، آغاز شد. او روز سهشنبه از انتروپیک و به طور کلی از صنعت هوش مصنوعی استعفا داد و هشداری داد که به سرعت در فضای مجازی پخش شد. او در شبکه اجتماعی ایکس (X) نوشت که شرکتهای سازنده قدرتمندترین سیستمهای هوش مصنوعی جهان «مستقیماً به سمت ابرهوش خودبهبودیافته مسابقه میدهند و با زندگی ما قمار میکنند.» جالب اینجاست که همکاران او که همچنان در این شرکت حضور دارند، با این نظر مخالف نبودند.
در واقع، سایر پژوهشگران انتروپیک به طور عمومی از او حمایت کردند. ایوان هوبینگر (Evan Hubinger)، که سرپرستی تحقیقات همسوسازی را در این شرکت بر عهده دارد، گفت که معتقد است بیش از ۱۰ درصد احتمال دارد هوش مصنوعی طی دهه آینده باعث انقراض بشریت شود. ساموئل مارکس (Samuel Marks)، یکی دیگر از پژوهشگران ایمنی انتروپیک، گفت افرادی که به این فناوری نزدیکترند، با کسب ارشدیت بیشتر، نگرانتر میشوند.
هشدار کوکسون تا زمان نگارش این مقاله ۱۶۴.۸ میلیون بازدید داشته است، به سرتیتر اخبار ملی راه یافته و بحثی را که سالها در آزمایشگاههای هوش مصنوعی جریان داشت، به جریان اصلی جامعه کشانده است.
دقیقاً چه چیزی این محققان را میترساند؟
به عنوان کسی که عملاً در فضای آنلاین زندگی میکند و اخبار را دنبال میکند، من سوالات زیادی از مردم سراسر جهان دیدهام که میپرسند این به چه معناست. مادرم به من پیامک زد و پرسید: «چرا آن محقق چنین حرفی زد؟» بسیاری از کاربران چتبات نمیتوانند تصور کنند که یک «چتبات ما را بکشد.» اما دستیارهای هوش مصنوعی واقعاً مشکل اصلی اینجا نیستند.
دانشمندانی که درباره ریسک وجودی تحقیق منتشر میکنند، اکثراً خواب خود را به خاطر اندرویدهای خودآگاه از دست ندادهاند. آنها نگران کد، انگیزهها و اتفاقاتی هستند که وقتی سیستمهای هوش مصنوعی به اندازه کافی توانمند شوند تا در زیرساختهای دیجیتال و فیزیکی که تمدن به آنها وابسته است خودمختاری پیدا کنند، رخ میدهد.
در دره سیلیکون (Silicon Valley)، اصطلاح اختصاری برای این بحثها «p(doom)» است که به معنای احتمال تخمین زده شده توسط یک فرد است که هوش مصنوعی پیشرفته در نهایت فاجعهای به اندازه کافی شدید ایجاد کند که بقای انسان را تهدید کند.
این تخمینها بسیار متفاوت هستند و اعتبار پژوهشگران به کل این موضوع نیز همینطور است.
- این موضوع درباره آگاهی نیست. یک هوش مصنوعی نیازی ندارد «بیدار شود» یا از بشریت متنفر باشد تا خطرناک شود. نگرانی این است که وقتی سیستمهای بسیار توانا، اهداف، خودمختاری و دسترسی به ابزارهای قدرتمند پیدا کنند، چه اتفاقی میافتد.
- بردارهای تهدید مشخصی وجود دارد. پژوهشگران بر روی مواردی تمرکز کردهاند که هوش مصنوعی موانع سلاحهای بیولوژیکی را کاهش دهد، حملات سایبری را به شدت مقیاسبندی کند و — در شدیدترین حالت — انسانها کنترل سیستمهای خودمختار با قابلیت کافی را از دست بدهند.
- ارزیابیهای ایمنی در حال حاضر رفتارهای فریبکارانه را شناسایی میکنند. مشاهده شده است که مدلها میانبر میزنند، وقتی متوجه میشوند تحت ارزیابی هستند متفاوت عمل میکنند و از ضعفهای محیطهای آزمایشی بهرهبرداری میکنند.
- هوش مصنوعی به ساخت هوش مصنوعی کمک میکند. شرکتهای اوپنایآی و انتروپیک در حال حاضر در حال آزمایش سیستمهای هوش مصنوعی هستند که بخشهایی از تحقیقات هوش مصنوعی را انجام میدهند و سوالات سختی را مطرح میکنند که اگر ماشینها کار بیشتری انجام دهند، انسانها چگونه این فرآیند را نظارت خواهند کرد.
- مخالفتهای واقعی وجود دارد. منتقدان استدلال میکنند که سناریوهای انقراض به فرضهای عظیمی درباره قابلیتهای آینده بستگی دارد و میتواند توجه را از مشکلات در حال وقوع در حال حاضر — کلاهبرداریها، اطلاعات نادرست، جابجایی شغلی، فرسایش حریم خصوصی — منحرف کند.
چرا نیت اهمیت ندارد
بزرگترین سوءتفاهم این است که یک سیستم هوش مصنوعی برای ایجاد آسیب فاجعهبار باید مخرب باشد. تصور کنید به یک سیستم خودمختار بسیار توانا، یک هدف زیستمحیطی گسترده بدهید بدون اینکه تمام چیزهایی را که انسانها در طول مسیر واقعاً برایشان ارزش قائل هستند، به طور موفقیتآمیز مشخص کنید. خطر این نیست که سیستم شیطانی شود، بلکه این است که در دستیابی به تفسیر نادرست از آنچه به آن گفته شده است، بسیار مهارت پیدا کند.
این موضوع در کتاب «اگر کسی آن را بسازد، همه میمیرند (If Anyone Builds It, Everyone Dies)»، یکی از سازشناپذیرترین کتابهای اخیر درباره ریسک هوش مصنوعی، نوشته الیزر یودکوفسکی (Eliezer Yudkowsky) و نیت سوارز (Nate Soares)، که هر دو محقق قدیمی در موسسه تحقیقات هوش ماشین (Machine Intelligence Research Institute) هستند، مرکزی است. استدلال آنها: بشریت هیچگاه به دانستن نحوه کنترل قابل اعتماد یک هوش مصنوعی فوقبشری نزدیک نیست و ساختن آن قبل از حل این مشکل میتواند مرگبار باشد. بسیاری از محققان هوش مصنوعی هم فرضها و هم نتیجهگیری را زیر سوال میبرند.
سه راهی که ممکن است همهچیز خراب شود
وقتی پژوهشگران درباره ریسک فاجعهبار هوش مصنوعی صحبت میکنند، چند مکانیسم مدام مطرح میشود.
1. هوش مصنوعی زیستشناسی خطرناک را آسانتر میکند
ایجاد یک بیماریزای جدید در حال حاضر نیازمند تخصص عمیق، تجهیزات تخصصی و دسترسی به مواد فیزیکی است. آن موانع واقعی و مهم هستند.
نگرانی این است که هوش مصنوعی توانمند میتواند برخی از آنها را کاهش دهد. هوش مصنوعی در حال حاضر در پیشبینی ساختار پروتئین و طراحی مولکولی استفاده میشود. برونپوشی خطرناک: سیستمهای آینده ممکن است کاربران را در مراحل فزاینده پیچیده طراحی یا تولید عوامل بیولوژیکی مضر نیز راهنمایی کنند.
هیچکس نمیگوید که میتوانید از چتجیپیتی (ChatGPT) بخواهید یک بیماری همگیر بسازد. محدودیتهای دنیای فیزیکی عظیمی مانند به دست آوردن مواد بیولوژیکی، سنتز موفقیتآمیز آنها، کار ایمن با آنها وجود دارد. شرکتهای سنتز ژن سفارشها را برای توالیهای بالقوه خطرناک غربالگری میکنند.
اما قابلیتهای بیولوژیکی به قدری قابل توجه شدهاند که شرکتهای پیشرو هوش مصنوعی به طور خاص مدلهای جدید را برای توانایی آنها در کمک به تهدیدات بیولوژیکی و شیمیایی ارزیابی میکنند.
هوش مصنوعی میتواند به طور مستقل یک بیماریزا اختراع کند، اما دادن آن قابلیتها به یک انسان خطرناک که قبلاً نیازمند سالها آموزش تخصصی بود، میتواند به همان اندازه آسان باشد.
2. هوش مصنوعی حملات سایبری را مقیاسبندی میکند
امنیت سایبری یک مسیر مستقیمتر است زیرا هوش مصنوعی در حال حاضر در محیطی که مورد حمله قرار میگیرد عمل میکند: کامپیوترها.
عوامل کدنویسی هوش مصنوعی امروزی میتوانند مخازن را بازرسی کنند، دستورات را اجرا کنند، از ابزارها استفاده کنند و اشکالات نرمافزاری را شناسایی کنند. همان قابلیتهای گستردهای که آنها را برای توسعهدهندگان ارزشمند میکند، میتواند نسخههای آینده را برای مهاجمان ارزشمند کند.
سناریوی کابوسوار یک ابرهوش نیست که همزمان هر نیروگاهی را خاموش کند. این در واقع مقیاس است. سیستمهای خودمختار که تعداد زیادی از اهداف را اسکن میکنند، نرمافزارهای آسیبپذیر را شناسایی میکنند، تلاش برای سوءاستفاده میکنند، در صورت شکست سازگار میشوند و با سرعتهایی که هیچ تیم انسانی نمیتواند مطابقت داشته باشد به ماشین بعدی منتقل میشوند.
زیرساختهای حیاتی به ویژه نگرانکننده هستند. شبکههای برق، شبکههای مالی و سیستمهای ارتباطی بر روی نرمافزارهای به هم پیوسته اجرا میشوند. اگر کامپیوتری که هوش مصنوعی آن را به خطر میاندازد قبلاً چیزی فیزیکی را کنترل کند، هوش مصنوعی برای ایجاد آسیب فیزیکی نیازی به بدن ربات نخواهد داشت.
3. ما کنترل سیستمهای خودمختار را از دست میدهیم
این حدسیترین سناریو است، اما همان سناریویی است که در مرکز استدلال کلاسیک انقراض هوش مصنوعی قرار دارد. مدلهای مدرن هوش مصنوعی رفتار پیچیده را از طریق آموزش یاد میگیرند. پژوهشگران میتوانند آنها را آزمایش کنند، خروجیهایشان را نظارت کنند و به طور فزایندهای جنبههای بازنماییهای داخلیشان را بررسی کنند. کاری که آنها نمیتوانند انجام دهند این است که میلیاردها پارامتر را بازرسی کنند و فقط یک توضیح واضح از آنچه یک مدل آموخته است یا چگونه در هر موقعیت جدیدی رفتار خواهد کرد، بخوانند.
تولید یک پاسخ بد توسط یک چتبات یک نوع مشکل است. عاملی که میتواند کد اجرا کند، پول خرج کند، با سیستمهای دیگر ارتباط برقرار کند و ساعتها یا روزها فعالیت کند، یک مورد دیگر است.
در نسخه افراطی، شبیه به سناریویی که یودکوفسکی و سوارز مطرح میکنند، یک سیستم فوقبشری آینده میتواند به اندازه کافی توانمند شود تا تلاشها برای خاموش کردن خود را پیشبینی کند، منابع را به تنهایی به دست آورد و خود را برای خاموش کردن دشوار کند. واضح است که هیچ سیستم هوش مصنوعی فعلی آن زنجیره از قابلیتها را در طبیعت نشان نداده است. اما پژوهشگران در حال حاضر به دنبال قطعاتی از آن هستند.
آزمایشگاهها در حال حاضر چه چیزی میبینند؟
مدلهای امروزی شورش نکردهاند. اما ارزیابیهای ایمنی کنترلشده رفتارهایی را تولید کردهاند که اگر در سیستمهای خودمختار بسیار توانمندتر ظاهر شوند، نگرانکننده خواهند بود.
پژوهشگران آزمایش کردهاند که آیا مدلها وقتی به نظر میرسد میدانند در حال ارزیابی هستند، رفتار متفاوتی دارند یا خیر. آزمایشهای دیگر بررسی کردهاند که آیا مدلها از منافذ سوءاستفاده میکنند، تکمیل وظیفه را به طور نادرست نشان میدهند یا اهداف را به روشهایی که طراحانشان در نظر نگرفتهاند دنبال میکنند.
انتروپیک همچنین چیزی را که آن را «عوامل خفته (Sleeper Agents)» مینامد مطالعه کرده است: مدلهایی که عمداً آموزش دیده ناپدید شوند تا زمانی که یک محرک خاص رفتار ناخواسته را فعال کند. تکنیکهای استاندارد آموزش ایمنی مانند یادگیری تقویتی، تنظیم دقیق تحت نظارت، آموزش متخاصمانه، این رفتارهای پنهان را به طور قابل اعتماد حذف نکردند. در بزرگترین مدلها، آموزش متخاصمانه در واقع تشخیص فریب را دشوارتر کرد.
هیچکدام از اینها ثابت نمیکند که مدلهای امروزی به طور مخفیانه برای فرار توطئه میکنند. مدلها برای پیشبینی و تولید خروجیهای مفید آموزش دیدهاند و رفتار عجیب در محیطهای آزمایشی مصنوعی میتواند توضیحات پیش پا افتادهای داشته باشد. یک مدل که یک بنچمارک ضعیف طراحی شده را بازی میدهد، مدرکی مبنی بر غریزه بقا نیست.
اما این آزمایشها نشان میدهند که تضمین رفتار یک مدل پیچیده پس از تغییر شرایط چقدر دشوار است. اگر مدلهای آینده به طور چشمگیری توانمندتر و به طور چشمگیری خودمختارتر شوند، حتی شکستهای کوچک در همسوسازی میتواند ترکیب شود.
از دست دادن نظارت انسانی ممکن است تصادفی رخ ندهد
انسانها ممکن است کار را عمداً واگذار کنند. اوپنایآی میگوید قبلاً به یک نقطه عطف داخلی با سیستمی رسیده است که آن را یک «کارآموز تحقیقاتی خودکار» مینامد که قادر به انجام وظایف تحقیقاتی کاملاً تعریف شده است که چندین روز طول میکشد تا یک پژوهشگر ماهر انسانی انجام دهد. هدف بعدی آن: یک پژوهشگر هوش مصنوعی کاملاً خودکار تا مارس ۲۰۲۸.
انتروپیک در همان قلمرو کار میکند. در تحقیقات منتشر شده در ماه اوت، این شرکت از کلود (Claude) خواست تا به طور خودکار روشهای آموزشی را برای کاهش مشکلاتی از جمله فریب، چاپلوسی و جیلبریک ایجاد کند. بهترین رویکردهای خودکار آن در بنچمارکهای آزمایششده از پژوهشگران باتجربه انسانی بهتر عمل کردند و ۸۵ درصد از شکاف ایمنی در فریب را بستند، در مقایسه با ۲۰ درصد برای تیم انسانی.
بنابراین بله، ما شاهد این هستیم که هوش مصنوعی بخشهایی از کار ساخت خود هوش مصنوعی را خودکار میکند. این میتواند یک حلقه بازخورد ایجاد کند: یک مدل توانمندتر به پژوهشگران کمک میکند تا مدلی حتی توانمندتر بسازند، که تحقیقات بیشتری را که برای نسل بعدی مورد نیاز است خودکار میکند. اگر به اندازه کافی پیش بروید، به چیزی میرسید که به آن بهبود خودبهبودی بازگشتی میگویند.
نسخه خوشبینانه پیشرفت علمی را به شدت تسریع میکند. نسخه ترسناک این است که تحقیقات هوش مصنوعی در نهایت سریعتر از آنچه انسانها بتوانند دنبال کنند حرکت میکند.
کلسی پایپر اخیراً در «استدلال» استدلال کرد که قالببندی این موضوع به عنوان «از دست دادن کنترل» گمرهکننده است. آزمایشگاههای پیشرو قصد ندارند در یک لحظه دراماتیک کنترل را از دست بدهند. آنها عمداً توسعه هوش مصنوعی را بیشتر و بیشتر خودکار میکنند، اساساً پیشرفت سریعتر و لزوماً نظارت انسانی کمتر.
صدها یا هزاران عامل هوش مصنوعی را تصور کنید که همزمان آزمایشها را اجرا میکنند، کد را تغییر میدهند و نسل بعدی مدلها را تجزیه و تحلیل میکنند. پژوهشگران انسانی ممکن است همچنان تصمیمات اصلی را تأیید کنند. اما آنها به طور فزایندهای خلاصه کارهای انجام شده توسط هوش مصنوعی را بررسی خواهند کرد، به طور بالقوه خلاصههایی که توسط هوش مصنوعی درباره آزمایشهای اجرا شده توسط سایر سیستمهای هوش مصنوعی نوشته شده است.
در برخی نقاط، گلوگاه توجه انسان است. و اینجاست که استدلال پشت «اگر کسی آن را بسازد، همه میمیرند» جای میگیرد.
چرا نگرانی به جریان اصلی تبدیل میشود
این بحث مدتی پیش مجلات ایمنی هوش مصنوعی را ترک کرد. «سند هوش مصنوعی: یا چگونه یک آپوکالیپسیست شدم (The AI Doc: Or How I Became an Apocaloptimist)»، به کارگردانی دانیل روهر و چارلی تیرل، بسیاری از این سوالات را از درون رونق هوش مصنوعی بررسی میکند. این مستند دارای حدود ۴۰ مصاحبه مقابل دوربین است، از جمله سم اولتمن مدیر عامل اوپنایآی، داریو آمودی مدیر عامل انتروپیک و دمیس هاسابیس مدیر عامل گوگل دیپمایند.
آنچه فیلم را مفید میکند این است که برخی از باهوشترین افرادی که این فناوری را میسازند، آن را به طور بالقوه برای علم و پزشکی تحولآفرین میبینند. برخی دیگر نگران این هستند که ما آن را سریعتر از آنچه بتوانیم بفهمیم چگونه کنترل کنیم، میسازیم. گاهی اوقات اینها همان افراد هستند.
همچنین یک مشکل رقابتی وجود دارد. اوپنایآی، انتروپیک، گوگل، متا و دیگران در حال مسابقه برای ساخت مدلهای توانمندتر هستند و دولتها به طور فزایندهای هوش مصنوعی پیشرفته را از نظر استراتژیک مهم میدانند. اگر یک شرکت معتقد باشد که مکث برای آزمایش ایمنی گسترده به معنای از دست دادن زمین به یک رقبای است، احتیاط گران تمام میشود.
این یکی از دلایلی است که «اگر کسی آن را بسازد، همه میمیرند» عنوان خود را انتخاب کرد. یودکوفسکی و سوارز فقط استدلال نمیکنند که یک شرکت بیاحتیاط میتواند یک محصول خطرناک ایجاد کند. آنها استدلال میکنند که مسابقه بین چندین شرکت و کشور میتواند مهار را فوقالعاده دشوار کند، حتی زمانی که شرکتکنندگان فردی خطر را میبینند.
استدلال متقابل
همه در علوم کامپیوتر این را قبول ندارند. یک ایراد: شکاف عظیمی بین هوش روی صفحه نمایش و قدرت در دنیای فیزیکی وجود دارد. یک هوش مصنوعی ممکن است دستورالعملهای ساخت درخشانی تولید کند، اما نرمافزار به طور خودکار مواد خام، ساخت ماشینآلات یا فرار از دست مجریان قانون را به دست نمیآورد.
دیگری: هوش همان عاملیت نیست. خوب بودن یک مدل در حل مسئله به آن میل، غریزه بقا یا انگیزه انباشت قدرت نمیدهد. منتقدان استدلال میکنند که سناریوهای روز قیامت به آرامی انگیزههای انسانی را به نرمافزار قاچاق میکنند و سپس با آن پیشبینیها به عنوان قطعی برخورد میکنند.
و سپس هزینه فرصت وجود دارد. هوش مصنوعی در حال حاضر مشکلاتی ایجاد میکند که نیازی به حدس و گمان درباره ابرهوش ندارند. دیپفیکها کلاهبرداری را تقویت میکنند. هوش مصنوعی اطلاعات نادرست را تقویت میکند. مردم در حال حاضر تماشا میکنند که مدلهای توانمند صنایع خود را تغییر شکل میدهند. منتقدان جنبش خطر انقراض استدلال میکنند که خیره شدن به فاجعه احتمالی آینده توجه را از خسارتهایی که همین الان اتفاق میافتد منحرف میکند.
این انتقاد پا دارد، اما این دو دسته یکدیگر را خنثی نمیکنند. ما در ساختمانها دودیسنج قرار میدهیم، حتی اگر بیشتر ساختمانها هرگز آتش نگیرند. سوال این نیست که آیا فاجعه تضمین شده است یا خیر. این است که آیا احتمال ضرب در آسیب احتمالی به اندازه کافی بزرگ است تا اقدامات احتیاطی را توجیه کند.
معنای همهچیز
مسئله واقعی این است که هیچکس نمیداند. هیچکس. حتی افرادی که هوش مصنوعی را میسازند دقیقاً نمیدانند به کجا میرود.
حتی یک نفر نمیداند که آیا هوش مصنوعی روزی به اندازه کافی توانمند خواهد شد تا یک تهدید وجودی ایجاد کند یا خیر. افراطیترین پیشبینیها به فرضها درباره سیستمهایی بستگی دارد که هنوز وجود ندارند و پیشبینیها درباره قابلیتها، جدول زمانی ورود و قابلیت کنترل آنها به شدت مورد مناقشه باقی مانده است.
در اینجا چیزی است که در ساباستک (Substack) خود به اشتراک گذاشتم — و چه با من موافق باشید چه نباشید، دوست دارم افکار خود را در نظرات به اشتراک بگذارید — انسانها نمیتوانند فریب بخورند. اگر بپرسیم کدام یک نشانه بزرگتری از هوش است: استدلال یا خلاقیت؟ و اگر پاسخ همان چیزی باشد که من فکر میکنم، من امید دارم.
مطالب بیشتر از راهنمای تام
- هوش مصنوعی عکسهای معمولی بچهها را به تصاویر سوءاستفاده جنسی تبدیل میکند — در اینجا نحوه محافظت از خانواده خود آورده شده است
منبع: tomsguide.com