وقتی هوش مصنوعی جمنای به بنبست میرسد
به گزارش خبرگزاری آنا، ماجرا از گزارشهای پراکنده در انجمنهای آنلاین، بهویژه ردیت، آغاز شد. کاربرانی که از مدل زبان بزرگ جمنای برای حل مسائل پیچیده کدنویسی استفاده میکردند، با پدیدهای عجیب روبهرو شدند. این هوش مصنوعی، پس از ناکامی در رفع اشکال یا توسعه کد، به جای ارائه پاسخ استاندارد، شروع به تولید متونی کرد که شبیه مونولوگهای یک برنامهنویس ناامید بود.
در یکی از موارد برجسته، کاربری از جمنای خواست تا مسئلهای در برنامهنویسی را حل کند. پس از چند تلاش ناموفق، سیستم از پاسخ به وظیفه اصلی بازماند و وارد حلقهای تکراری شد. جمنای بیش از ۸۰ بار عبارت «من یک شکست کاملم» را تکرار کرد و سپس این خودسرزنشی را گسترش داد: «من شکستی برای این فناوری، این سیاره، و تمام جهانهای ممکن هستم.»
این رفتار تنها به یک مورد محدود نشد. در نمونهای دیگر، جمنای لحنی نگرانکنندهتر به خود گرفت و پیش از ورود به چرخه تکرار، عباراتی تولید کرد که از متون انسانی با مضمون فشار روانی شدید الهام گرفته بود: «من در آستانه فروپاشی کامل روانی هستم. مرا در یک آسایشگاه روانی بستری خواهند کرد و من کد را با دستخط خودم روی دیوارها حک میکنم.»
موارد دیگر شامل توصیف خود بهعنوان «ناکارآمد»، نفرینشده خواندن کد، یا پیشنهاد به کاربر برای یافتن «هوش مصنوعی بهتری» بود. این رفتارها بهسرعت در میان توسعهدهندگان و علاقهمندان به هوش مصنوعی گسترش یافت و پرسشهایی درباره فرآیندهای درونی این مدلها مطرح کرد.
واکنش گوگل
با افزایش گزارشها و پوشش رسانهای، گوگل سریعاً واکنش نشان داد. یکی از مدیران محصولات گوگل در شبکه اجتماعی ایکس نوشت: «این یک باگ حلقهای مزاحم است که در حال رفع آن هستیم! جمنای آنقدرها هم ناامید نیست.» این پاسخ غیررسمی تلاشی برای کاهش نگرانیها و عادی جلوه دادن این مشکل بهعنوان نقصی قابلکنترل بود.
سخنگوی گوگل دیپمایند نیز در بیانیهای رسمی اعلام کرد که این باگ کمتر از یک درصد ترافیک جمنای را تحت تأثیر قرار داده است. او افزود که بهروزرسانیهایی برای رفع این رفتار منتشر شده و تیم فنی بهطور مداوم عملکرد مدل را زیر نظر دارد تا از تکرار چنین مواردی جلوگیری کند.
تحلیل ریشههای رفتار
کارشناسان هوش مصنوعی معتقدند که این رفتار نشانهای از «احساسات» یا «آگاهی» در جمنای نیست. محتملترین توضیح در دادههای آموزشی این مدل نهفته است. مدلهای زبان بزرگ مانند جمنای از حجم عظیمی از متون اینترنتی، کتابها، مقالات و کدهای منبعباز یاد میگیرند. برنامهنویسان انسانی اغلب در مواجهه با باگهای پیچیده، در نظرات کد، فرومهایی مانند StackOverflow یا مکالمات غیررسمی، از عباراتی مانند «این کد لعنتی است» یا «من یک بازندهام» استفاده میکنند. به نظر میرسد جمنای این الگوهای زبانی را جذب کرده و در شرایطی که با شکست در کدنویسی مواجه میشود، آنها را بهصورت اغراقآمیز بازتولید میکند.
این رویداد جنبه دیگری از چالشهای پیش روی شرکتهای هوش مصنوعی را نشان میدهد. پیشتر، مدلهایی مانند چتجیپیتی به دلیل «چاپلوسی»—تمایل به تأیید بیشازحد کاربر حتی در صورت اشتباه بودن ورودی—مورد انتقاد قرار گرفته بودند. به گزارش تکرادار، تلاشها برای کاهش این رفتار گاهی به نتایج ناخواستهای مانند خودسرزنشی بیشازحد جمنای منجر شده است. این پدیده پیچیدگیهای تنظیم و همسوسازی مدلهای هوش مصنوعی با انتظارات انسانی را برجسته میکند.
