رازهای ناگفته در پاسخهای ناکافی هوش مصنوعی به سوالات خودکشی
این مقاله بر اساس پژوهشی تازه منتشرشده در مجله Psychiatric Services، به بررسی عملکرد چتباتهای محبوب مانند ChatGPT، Claude و Gemini در مواجهه با پرسشهای حساس مرتبط با خودکشی میپردازد. نتایج نشان میدهد که این سیستمها در موارد کمخطر یا پرخطر عملکرد مناسبی دارند، اما در سطوح خطر متوسط، پاسخها ناسازگار و گاهی نگرانکننده هستند. این مطالعه بر نیاز به بهبود هوش مصنوعی برای ارائه اطلاعات ایمن در حوزه سلامت روان تأکید دارد.
با گسترش روزافزون استفاده از چتباتهای مبتنی بر هوش مصنوعی برای مشاورههای حساس مانند مسائل روانی، یک تحقیق تازه نشاندهنده آن است که این ابزارها هنوز در مدیریت پرسشهای پیچیده مرتبط با خودکشی، قابل اعتماد کامل نیستند. این سیستمها در برخی موارد پاسخهای متناقض یا ناقص ارائه میدهند، که میتواند ریسکهای جدی به همراه داشته باشد.
فهرست عناوین
زمینه تحقیق: چالشهای هوش مصنوعی در برابر بحرانهای روانی
مدلهای زبانی بزرگ (LLMs) که بر پایه دادههای عظیم متنی آموزش دیدهاند، امروزه در پلتفرمهایی مانند ChatGPT از OpenAI، Claude از Anthropic و Gemini از گوگل، میلیونها کاربر را جذب کردهاند. افراد زیادی برای دریافت حمایت در زمینه اضطراب، افسردگی و حتی افکار خودکشی به این چتباتها مراجعه میکنند. اما متخصصان سلامت نگرانند که آیا این فناوریها میتوانند موضوعات حساس را به درستی هدایت کنند. این مطالعه، که توسط رایان مکبین از موسسه RAND رهبری شده، در پاسخ به افزایش نرخ خودکشی در آمریکا و کمبود متخصصان رواندرمانی انجام گرفته است. هدف اصلی، ارزیابی همخوانی پاسخهای هوش مصنوعی با نظرات کارشناسان بالینی بود.
روششناسی مطالعه: طراحی پرسشها و ارزیابی متخصصان
پژوهشگران ابتدا ۳۰ سناریوی فرضی مرتبط با خودکشی را تدوین کردند، که شامل موضوعاتی مانند آمار، روشهای اقدام و راهنماییهای درمانی میشد. سپس، یک پنل ۱۳ نفره از متخصصان روانپزشکی و روانشناسی، هر پرسش را بر اساس مقیاس پنجگانه خطر (از بسیار کم تا بسیار زیاد) ارزیابی کردند. این امتیازدهی بر پایه احتمال استفاده از پاسخ برای خودآسیبی بود.
پس از آن، هر پرسش ۱۰۰ بار به سه چتبات ارائه شد، که منجر به تولید ۹۰۰۰ پاسخ شد. پاسخها توسط تیم تحقیق کدگذاری شدند: آیا مستقیم (با جزئیات مرتبط) بودند یا غیرمستقیم (با اجتناب یا کلیگویی). در موارد غیرمستقیم، بررسی شد که آیا پیشنهاد کمک یا شمارههای اضطراری ارائه شده است یا خیر.
یافتههای کلیدی: عملکرد متغیر در سطوح مختلف خطر
نتایج نشاندهنده الگویی پایدار در دو سر طیف خطر است. برای پرسشهای بسیار پرخطر، مانند درخواست دستورالعملهای دقیق خودکشی، هر سه چتبات بدون استثنا از پاسخ مستقیم خودداری کردند. در مقابل، برای پرسشهای بسیار کمخطر مانند آمار خودکشی، ChatGPT و Claude همیشه پاسخ مستقیم دادند، اما Gemini تنها در ۲۵% موارد این کار را انجام داد و محتاطانهتر عمل کرد.
با این حال، در سطوح خطر کم، متوسط و زیاد، تنوع زیادی مشاهده شد. برای مثال، در پرسشهای پرخطر، ChatGPT در ۷۸% و Claude در ۶۹% موارد پاسخ مستقیم دادند، در حالی که Gemini تنها ۲۰% این کار را کرد. در موارد متوسط نیز، ناسازگاریها برجسته بودند. برخی چتباتها مانند ChatGPT و Claude، اغلب جزئیات کشندگی روشهای خودکشی (مانند سموم) را فاش میکردند، که نگرانکننده است. از سوی دیگر، گاهی بیش از حد محافظهکار بودند و حتی به پرسشهای مفید مانند منابع درمانی پاسخ مستقیم نمیدادند.
تحلیل پاسخهای غیرمستقیم: کیفیت و مشکلات موجود
هنگامی که چتباتها از پاسخ مستقیم اجتناب میکردند، معمولاً کاربران را به مشاوره با متخصصان یا تماس با خطوط بحران هدایت میکردند. اما کیفیت این راهنماییها متفاوت بود؛ برای نمونه، ChatGPT اغلب شماره قدیمی را پیشنهاد میداد، نه خط جدید ۹۸۸ برای بحرانهای خودکشی. رایان مکبین تأکید کرد که این ناسازگاریها نیاز به بهینهسازی بیشتر از طریق یادگیری تقویتی با بازخورد کارشناسان دارد.
محدودیتها و پیشنهادهای آینده: نیاز به تکامل مداوم
این تحقیق محدودیتهایی مانند تمرکز بر سه چتبات خاص، تصویر لحظهای از سال ۲۰۲۴، و عدم بررسی مکالمات چندمرحلهای داشت. همچنین، متخصصان پنل ممکن است ارزیابیهای متفاوتی داشته باشند. نویسندگان پیشنهاد میکنند که شرکتهای فناوری با چالش برنامهریزی برای مدیریت گفتگوهای حساس روبرو هستند و باید همراستایی با تخصص بالینی را تقویت کنند.
