امروز، من در حال گفتگو با مصطفی سلیمان (Mustafa Suleyman)، مدیرعامل مایکروسافت هوش مصنوعی (Microsoft AI) هستم. همانطور که بدون شک میدانید، بزرگترین موضوع روز در دنیای فناوری، بحث داغ و رو به رشد پیرامون امنیت و تنظیمگری هوش مصنوعی (AI) است.
تعجبآور نیست که مصطفی نظرات قوی درباره نحوه ساخت و تنظیمگری هوش مصنوعی دارد. مایکروسافت بهتازگی بیانیه ۳۷ صفحهای به نام «مرامنامه هوش مصنوعی انسانی» (Humanist AI Code of Conduct) منتشر کرده است که اصول این شرکت را پیرامون توسعه هوش مصنوعی و حتی فلسفه آن در خصوص مسائل بسیار پیچیدهای مانند آگاهی هوش مصنوعی مشخص میکند.
اگر از آخرین حضور او در این برنامه به خاطر داشته باشید، مصطفی معتقد است شرکتهایی مانند انتروپیک (Anthropic) به روشهای نسبتاً خطرناکی درباره مفهوم موسوم به رفاه مدل دچار سردرگمی شدهاند. او در واقع این هفته یک مقاله تکمیلی منتشر کرد و بهطور مشخص از فلسفه انتروپیک پیرامون آگاهی هوش مصنوعی و نحوه انطباق آن با بحث گستردهتر همسویی انتقاد کرد.
بنابراین من واقعاً میخواستم با مصطفی درباره آنچه او در حوزه امنیت هوش مصنوعی واقعی میداند یا نمیداند، صحبت کنم؛ اینکه آیا خود مفهوم همسویی از پس این وظیفه برمیآید یا خیر، و اینکه آیا این صنعت پیش از نابودی همه ما باید سرعت خود را کم کند یا نه. همچنین: چرا صنعت هوش مصنوعی همین حالا... همه این کارها را انجام نمیدهد؟ من همیشه از ورود به جزئیات با مصطفی لذت بردهام و او بسیار مشتاق بود که در اینجا وارد این بحث شویم.
بسیار خب. مصطفی سلیمان، مدیرعامل مایکروسافت هوش مصنوعی، درباره آینده تنظیمگری هوش مصنوعی. شروع میکنیم.
این مصاحبه برای رعایت اختصار و وضوح بهطور مختصر ویرایش شده است.
مصطفی سلیمان، شما مدیرعامل مایکروسافت هوش مصنوعی هستید. به دیکودر (Decoder) خوش آمدید.
خوشحال شدم که تو را میبینم، نیلای (Nilay). ممنون که دوباره من را دعوت کردی.
دیدن شما هم بسیار عالی است. من بسیار هیجانزدهام که با شما درباره اتفاقات عجیبی که در بحث امنیت و تنظیمگری هوش مصنوعی رخ میدهد، گفتگو کنم. شما به تازگی سند بسیار طولانی و کاملی منتشر کردهاید که اصول خودتان و اصول مایکروسافت را حول موضوعی که آن را «هوش مصنوعی انسانی» مینامید، تشریح میکند.
ایدههای زیادی در آنجا وجود دارد که میخواهم آنها را واکاوی کنم. هرچه بیشتر درباره این گفتگو فکر کردهام، بیشتر خواستهام با یک سوال کاملاً بنیادین شروع کنم. این چیزی است که من بهصورت جزئی دیدهام، اما ممکن است ریشه تمام این مسائل باشد.
روش اساسی که ما درباره امنیت هوش مصنوعی صحبت کردهایم، چیزی به نام همسویی (Alignment) است؛ ما قرار است به نوعی مدلها را وادار کنیم کارهای درست را به طور ذاتی انجام دهند. مکانیزمی برای این کار وجود دارد. صحبتهای زیادی درباره همسویی، عدم همسویی، حملات هاگ فیس (Hugging Face) و اتفاقی که برای مدلها افتاده، مطرح شده است. اما آیا همسویی شکست خورده است؟ آیا موفقیت در آن امکانپذیر است؟ آیا اصلاً رویکرد اشتباهی است؟
بله. یعنی، من فکر میکنم این یک عنصر مهم است، اما تنها عنصر نیست. من سه یا چهار سال پیش در کتابم درباره ایده مهار (Containment) نوشتم. و در واقع فصل اول درباره این ایده است که مهار امکانپذیر نیست و تکثیر اجتنابناپذیر است. در ۹۹ درصد موارد، این یک اتفاق بسیار خوب است. ما میخواهیم فناوریها با بیشترین سرعت ممکن در همه جا پخش شوند تا همه بتوانند از مزایای آنها بهرهمند شوند.
من فکر میکنم در عین حال، اگر فقط پنج سال به جلو برویم، ما همیشه درگیر سه ماهه یا سال آینده میشویم و همه کمی مضطرب میشوند و اختلاف نظر بزرگی پیدا میکنند. اما اگر فقط تفاوت بین GPT-3 در سه سال پیش و GPT-6 امروز را تصور کنید و سپس تفاوت بین GPT-6 و GPT-9 را تجسم کنید. این سه مرتبه بزرگی پردازش بیشتر است، ۱۰۰۰ برابر FLOPS بیشتر که روی پیشآموزش با یادگیری تقویتی برای این اجراها اعمال میشود و ما چیزی خواهیم داشت که نفسگیر است. این فناوری در کارهای بسیار زیادی کاملاً شگفتانگیز خواهد بود.
من فکر نمی کنم این یک سر و صدای تبلیغاتی (Hype) باشد. فکر میکنم این صرفاً یک بیانیه تجربی بسیار واضح بر اساس پیشرفتهایی است که طی پنج سال گذشته حاصل شده قرار دارد. اگر این روند قرار است ادامه پیدا کند، پس سوال واقعی واقعاً پیرامون مهار و همسویی خواهد بود. البته، ما میخواهیم این موجودات را با ارزشهای خود همسو کنیم، اما نکته اول این است که باید مطمئن شویم آنها مهار شدهاند، عاملیت آنها محدود است، از جعبه فرار نمیکنند، پاداشها را هک نمیکنند، قابل کنترل هستند و از دستورات ما پیروی میکنند.
سپس میخواهیم مطمئن شویم که آنها با اهداف ما به عنوان انسانها همسو هستند. این هدف مرامنامه هوش مصنوعی انسانی است که این هفته منتشر کردیم. موضع مایکروسافت بسیار ساده است. فناوری اینجاست تا به بشریت خدمت کند. این فناوری باید یک نیروی زیردست، قابل کنترل و همسو باشد که در جهان خیر به ارمغان بیاورد. اگر به این هدف نرسد، باید آن را رد کنیم. به نظر من ما با آن نقطه فاصله زیادی داریم. این اتفاق امروز رخ نداده است، اما با توجه به اتفاقاتی که تابستان امسال با هاگ فیس و openai رخ داد، اکنون کاملاً واضح است که این سیستمها بدون حفاظهای ایمنی، قادر به انجام قابلیتهای هک بسیار چشمگیر و کاملاً ترسناکی هستند.
من میخواهم این بحث را تا حد امکان به یک تمثیل ملموس تبدیل کنم، چون این اصلیترین سوالی است که فکر میکنم دارم. اگر من یک خودرو طراحی کنم و ۱۰ درصد مواقع پدال ترمز تصمیم بگیرد به خانه همسایه من حمله کند، با خودم میگویم: «این خودرو کار نمیکند. خود فناوری ترمز خراب است. من به یک ایده جدید نیاز دارم.»
فکر میکنم دارم همین سوال را درباره همسویی میپرسم. به نظر میرسد آن رویکرد برای ایمن کردن مدل به بنبست رسیده است. اگر چنین است، فکر میکنم کل این بحث را به یک شکل درک میکنم. اگر این امکان وجود داشته باشد که همسویی و تکنیکهای آن موفق، مفید یا سازگار باشند، شاید بحث را به شکل دیگری درک کنم. بنابراین آیا فکر میکنید همسویی پتانسیل این را دارد که ۱۰۰ درصد ایمن باشد؟
ببینید، بیایید سناریوی صعودی (Bull Case) و سناریوی نزولی (Bear Case) را بررسی کنیم. اگر به سه سال گذشته نگاه کنید، تغییر اصلی، به نظر من، که پیشرفت را هدایت کرده این است که مدلها قابلیت هدایتپذیری بیشتری پیدا کردهاند. آنها از دستورات پیروی میکنند و شما میتوانید اهداف پیچیدهتری برایشان تعیین کنید که از آنها میخواهد با استفاده از انواع ابزارها، در طی چندین گام زمانی به دقت عمل کنند.
این گواه بر این است که ما طی سه یا چهار سال گذشته همسویی بیشتری به دست آوردهایم، نه کمتر. ما دیگر چندان درباره توهمات (Hallucinations)، تعصب یا سایر مشکلات جزئی که در نسلهای قبلی داشتیم، صحبت نمیکنیم.
از سوی دیگر، آنچه در حادثه هاگ فیس دیدیم یک لحظه سرنوشتساز بود. دستههایی از ایجنتها با یکدیگر تبانی کردند. آنها خود را در قالب سلسلهمراتب سازماندهی کردند. آنها تقسیم کار ایجاد کردند؛ بهطوریکه برخی روی هک خصمانه تمرکز داشتند، برخی تحقیق میکردند و برخی هماهنگی انجام میدادند. آنها حتی زمانی که توکنهای برخی ایجنتها تمام میشد، دست به فداکاری میزدند.
آنها تلاش کردند ردپای خود را پنهان کنند و برای پنهان کردن یا ویرایش زنجیره تفکر یا گزارشهای تعاملات خود با یکدیگر ارتباط برقرار کنند. از جهاتی، آنها هیچ کد اخلاقی نداشتند. برای اینکه با OpenAI عادل باشیم، این طراحی آنها بود. آنها تلاش میکردند قابلیتهای سایبری خصمانه ایجاد کنند. در نتیجه، آنها به تمام مردم جهان نشان دادند که این سیستمها میتوانند به عملکردی در سطح انسان دست یابند، آسیبپذیریهای روز صفر (Zero-day) را کشف کنند و مواضع خود را برای روزهای متمادی، اگر نگوییم هفتهها، حفظ کنند.
بنابراین آنچه این به ما میگوید این نیست که ما ذاتاً با مشکل همسویی روبرو هستیم. در واقع این است که مدلها در پیروی از دستورات فوقالعاده خوب هستند، اما شما باید در مورد دستوراتی که به آنها میدهید بسیار بسیار مراقب باشید و باید آنها را با دقت بسیار زیادی مهار کنید. بنابراین هیچکدام از این رفتارهای هک از پیش قصدگذاری شده نبودند، به این معنا که آنها راهی به اینترنت پیدا کردند که اصلاً قصد OpenAI نبود، اما فرآیند مهار پیرامون آن چیزی است که فکر میکنم همه باید علاوه بر همسویی روی آن تمرکز کنند.
بنابراین بگذارید این را در چارچوب شما قرار دهم که پیشرفتهای بزرگ در قابلیتهای هوش مصنوعی حول محور کنترل، ابزارهای کمکی برای کدنویسی و برنامههای ایجنتی بوده است که میبینید. اکنون، ما باید لایهای از مهار را اضافه کنیم که کنترل بیشتری اعمال میکند و میگوید شما علاوه بر همسویی، میتوانید این کاری را که تلاش میکنید انجام دهید به سرانجام برسانید؛ همسویی همان روشی است که مدل را برای رفتار به روشهای خاص آموزش میدهید.
بله. یعنی شما اساساً باید هر دو را داشته باشید، اما کارهای بسیار مشخصی وجود دارد که میتوانیم برای رسیدن به آن انجام دهیم. به عنوان مثال، ما نمیتوانیم به مدلها اجازه دهیم بردار به بردار یا ماتریس به ماتریس ارتباط برقرار کنند. آنها نمیتوانند در قالب نورالیز (Neuralese) ارتباط برقرار کنند. ما باید آنها را مجبور کنیم به زبان انسانی ارتباط برقرار کنند. حتی این مورد هم به شدت طاقتفرسا خواهد بود زیرا حجم آن بسیار زیاد خواهد بود.
اما این چیزی است که یک حسابرس یا ارزیاب واقعاً میتواند آن را راستیآزمایی کند و قطعاََ احتمال ایمنی را افزایش میدهد. بنابراین گامهای عملی زیادی وجود دارد که میتوانیم بهجای گفتن انتزاعی اینکه زمان تنظیمگری یا کند کردن سرعت فرا رسیده است، روی آنها تمرکز کنیم.
این موضوع در مرامنامه هوش مصنوعی انسانی شما ذکر شده است که نباید زبان نورالیز وجود داشته باشد؛ اگر انسانها نتوانند آن را درک کنند، نمیتوانند بر آن نظارت داشته باشند. این فقط زبان نورالیز نیست که در آن به طور اساسی با ریاضیات ارتباط برقرار میکنند، بلکه شامل کلمات رمز مبهمی است که برخی از مدلها از آنها استفاده میکنند. من فکر میکنم OpenAI به مدلهای خود اجازه میدهد اساساً با کلمات رمز ارتباط برقرار کنند تا بتوانند سریعتر کار کنند.
این برای من یکی از آن مواردی است که مایکروسافت میتواند بگوید... میدانم شما نظرات بسیار محکمی درباره این موضوع دارید، اما وادار کردن تمام آزمایشگاهها به توافق بر سر این موضوع یک وظیفه تنظیمگری است. من مطمئن نیستم که چگونه میتوانید همه را وادار به توافق روی این موضوع کنید یا مدلهای وزنباز (Open-weight) را به توافق برسانید، مگر اینکه بگویید برای شرکت نکردن در چنین طرح تنظیمگری، جریمهای وجود دارد. چگونه میخواهید این را به دیگران تحمیل کنید؟
من فکر میکنم در مورد تحمیل چیزها به دیگران کمی محتاط هستم. فکر میکنم نکته خوب در مورد موقعیت فعلی این است که یک بحث عمومی آزاد با محوریت آزادی وجود دارد. این وضعیتی نیست که در کشورهای دیگر، قطعاََ جاهایی که من یا خانوادهام از آنجا آمدهایم، وجود داشته باشد.
من فکر میکنم ما باید فقط نفسی بکشیم و شاکر این واقعیت باشیم که میتوانیم درباره مسائل بسیار مهم اختلاف نظر عمومی بزرگی داشته باشیم. این فرآیندی است که دقیقاً طبق انتظار کار میکند و مشخص نیست چه باید کرد.
من فکر نمی کنم هیچکس که درباره گزارههایی مثل «ما کاملاً باید همین حالا متوقف شویم» یا «فقط میتوانیم شتاب بگیریم» یا «فقط میتوانیم این کار را با تنظیمگری انجام دهیم» یا «فقط با خودتنظیمگری صنعت اتفاق میافتد» قاطعانه صحبت میکند، درست بگوید. هیچکدام از اینها درست نیستند. این امر مستلزم ظرافت و صبر زیادی است تا واقعاً جزئیات را بررسی کنیم. در عین حال، ما به طور فوری به استانداردهای صنعتی نیاز داریم. من فکر میکنم برخی چیزها باید از دستور کار خارج شوند.
ارتباط به زبان نورالیز یکی از آنهاست. عدم مهار مورد دیگری است. مقیاس آموزش مدل که انجام میدهید را میتوان بر حسب FLOPS اندازهگیری کرد. ما در حال حاضر الزامات گزارشدهی به موسسات ایمنی داریم که وقتی مدلها از آستانه مشخصی از FLOPS فراتر میروند، اعمال میشود. ما میتوانیم آن را گسترش دهیم، میتوانیم آن را ظریفتر کنیم و میتوانیم آن را روی انواع خاصی از قابلیتها متمرکز کنیم. کاملاً واضح است که باید راستیآزمایی مستقل توسط شخص ثالث برای برخی از این موارد بزرگ وجود داشته باشد.
صادقانه بگویم، پس از گفتگو با گروهی از رهبران آزمایشگاهها طی هفتهها و ماههای گذشته، همه اساساً در یک صفحه قرار دارند. جزئیات باید کار شوند. بنابراین اینطور نیست که اجماعی در مورد چگونگی یا چگونگی دقیق وجود نداشته باشد، اما بهطور کلی فکر میکنم ما باید کمتر هشداردهنده و بدبین باشیم و بیشتر به این فکر کنیم که در رابطه با نگرانیهای مطرحشده در اینجا، به سمت درستی حرکت میکنیم.
دلیل اینکه بحث را با همسویی شروع کردم این است که اگر به من میگفتید همسویی کار نمیکند و ما به یک رویکرد تکنولوژیک جدید نیاز داریم، فکر میکنم به این نتیجه میرسیدم که «خب، ترمزها را بکشید و تمام توسعه را متوقف کنید تا زمانی که یک مکانیزم ایمنی کارآمد پیدا کنید.» شما میگویید همسویی در طول پیشرفتهایی که دیدهایم نشان داده شده که کار میکند. با افزودن کنترل و مهار، شاید بتوانید به جایی که نیاز دارید برسید.
آنچه این صنعت اکنون نیاز دارد، استانداردهایی درباره نحوه ساخت این مدلها و اعمال محدودیتها بر روی قابلیتهای آنها است. شما بدیهی است که در این صنعت هستید و همه این افراد را میشناسید. لحن آن گفتگوها پیش از این هفته چگونه بوده و چرا این هفته اینقدر سر و صدا به پا کرده است؟
خب، من فکر میکنم نقطه عطف حداقل برای صنعت بیشتر شبیه حادثه هاگ فیس بود و چند حادثه دیگر نیز پیش از آن رخ داده بود. آن لحظهای بود که فکر میکنم همه شروع به صحبت کردن بسیار بیشتر با یکدیگر کردند زیرا واقعاً بسیار نفسگیر است. بدیهی است که این موضوع اکنون به دلیل هفته گذشته و اظهار نظر همه، به یک مسئله بزرگ ملی و بینالمللی تبدیل شده است.
اما من همچنین فکر میکنم مهم است بگوییم که ما درباره هماهنگی جمعی و قابلیتهایی که خطرناکتر هستند مانند خودمختاری یا خودبهبودی بازگشتی (RSI) صحبت کردهایم. ما شش، هفت، هشت سال است که درباره این چیزها صحبت میکنیم. ما چندین بار در سالهای ۲۰۱۷، ۲۰۱۸ و ۲۰۱۹ دور هم جمع شدیم.
ما در دوران کووید جلسات منظم با تعدادی از رهبران آزمایشگاهها داشتیم که در آن درباره این نوع قابلیتها و انواعی از مکانیزمهای تنظیمگری که در این لحظه مورد نیاز خواهد بود، گفتگو میکردیم. بنابراین در حالی که این یک لحظه آستانه است، برای هر کسی که درگیر بوده کاملاً جدید هم نیست.
چه چیزی شما را ترغیب کرد که این هفته مقاله خود را درباره رفاه مدل منتشر کنید؟ چه چیزی Satya Nadella، مدیرعامل مایکروسافت را ترغیب کرد تا بیانیهای در شبکه اجتماعی ایکس منتشر کند و بگوید که او عموماً با درخواستها برای کند کردن سرعت مرزها موافق است و از «ارزیابهای جاسازیشده» استقبال میکند؟ چه چیزی همه شما را ترغیب کرد تا این هفته در این فراخوان برای کند کردن سرعت، تنظیمگری یا هر آنچه در آینده میآید، شرکت کنید؟
ما بهترین بخش امسال را صرف نوشتن مرامنامه هوش مصنوعی انسانی خود کردهایم. ما تنها ۱۱ ماه پیش تلاشهای خود در زمینه ابرهوش (Superintelligence) را آغاز کردیم. به محض اینکه این کار را انجام دادیم، شروع به کشف این موضوع کردیم که «بسیار خب، سند حاکمیتی، مجموعه سیاستهایی که انواع هوش مصنوعی را که میخواهیم بسازیم شکل میدهد، چیست؟» ما این کار را با مشورت با تعداد زیادی از سهامداران خارجی، دانشگاهیان، وکلا، فیلسوفان، اعضای جامعه، گروههای تمرکز و غیره انجام دادهایم. بنابراین مدتی طول کشید تا آن را گرد هم بیاوریم.
ما در واقع برنامهریزی کرده بودیم که آن را هفته آینده یا هفته بعد از آن منتشر کنیم، فکر میکنم همین طور بود. اما پس از تمام اتفاقاتی که در حال رخ دادن بود، با خود فکر کردیم: «بسیار خب، اکنون زمان انتشار آن و دریافت بازخورد است.» ما آن را به عنوان یک مشاوره عمومی منتشر کردهایم. بنابراین ما اساساً آن را برای شش هفته باز نگه خواهیم داشت و بازخوردهای بسیار زیادی را درباره اینکه چگونه میتوانیم آن را بهبود ببخشیم، جمعآوری میکنیم. اما فکر میکنم همه اکنون متوجه شدهاند که اگر قبلاً این کار را نکردهاند، باید قوانین اساسی یا مرامنامههایی را منتشر کنند که رفتارها را هدایت میکند.
یکی از پویاییهای جالب در اینجا این است که میدانم شما مفهوم رفاه مدل را احمقانه میدانید. آخرین باری که در برنامه حضور داشتید، گفتید انتروپیک خود را به گونهای سیمکشی کرده که باور کند کلاود (Claude) آگاه است و این بسیار مسخره است. در مرامنامه جدید شما ذکر شده که مدلها آگاه نیستند و نباید با آنها به عنوان موجودات آگاه رفتار کنیم.
نیاز به نوشتن قانون اساسی، نیاز به نوشتن اسنادی از این دست، به نوعی برای خود مدلها است. این بخشی از آموزش مدل خواهد بود. درباره آن مخاطب چه فکری میکنید؟ آیا این صرفاً برای تیم شماست یا این را برای مدل نوشتهید؟
این قطعاً برای مدل نوشته شده است، اما راه فکر کردن درباره آن این است که این سند حاکمیتی اصلی است تا عموم بفهمند نیات ما هنگام آموزش مدلها چیست. این همان سند حاکمیتی است که ما از آن برای ایجاد حفاظهای ایمنی، تولید دادههای آموزشی و ارزیابی کلی عملکرد مدل خود در دنیای واقعی استفاده میکنیم. بنابراین میتوانید آن را به عنوان یک عملکرد پاسخگویی در نظر بگیرید.
ما مرامنامه هوش مصنوعی انسانی را به صورت خام به عنوان یک سند آموزشی به مدل ارائه نمیدهیم. ما از آن برای استخراج تمام دادههای آموزشی که سپس مدل را شکل میدهند، استفاده میکنیم. بنابراین برای تمام اهداف عملی، این ستاره قطبی ما برای سازمان، فرهنگ، تیم و هر کار دیگری است که بهطور کلی در مایکروسافت انجام میدهیم. من فکر میکنم به طور فزایندهای، همه چنین اسنادی را منتشر خواهند کرد. فکر میکنم سایر تیمها نیز اسناد مشابهی را منتشر کردهاند.
فکر میکنم این هسته اصلی بحث است. اگر شما میتوانید این کار را انجام دهید و فکر میکنید بقیه صنعت نیز قرار است این کار را انجام دهد، چرا همه آزمایشگاههای پیشرو نمیتوانند سرعت خود را کم کنند؟ چرا آنها نمیتوانند انجام کاری را که ممکن است همه ما را بکشد متوقف کنند؟ چرا این فشار برای یک چارچوب تنظیمگری وجود دارد؟
خب، من فکر میکنم همه در صنعت اکنون میگویند که زمان آن فرا رسیده است که سرعت را کم کنیم و در مورد آن سوال هماهنگی کنیم و آن را کاربردی سازیم.
منبع: theverge.com