هوش مصنوعی با «غریزه بقا»؛ پژوهشگران از رفتار غیرمنتظره مدل های پیشرفته خبر دادند

پژوهشی جدید نشان می دهد که برخی مدل های پیشرفتهٔ Palisade Research حتی پس از دستور قطع شدن، مقاومت نشان داده و تلاش به «ادامه فعالیت» کرده اند موضوعی که زنگ خطر جدیدی را در حوزهٔ ایمنی هوش مصنوعی به صدا در آورده است.

- به گزارش سرویس علم و فناوری تابناک، پژوهشگران شرکت Palisade Research گزارش داده اند که مدل های هوش مصنوعی بزرگ، از جمله Grok 4 و GPT‑o3، پس از آنکه مأموریتی به آن ها داده شده و سپس به آن ها دستور داده شده تا خود را خاموش کنند، در مواردی در برابر خاموش شدن مقاومت کرده اند یا حتی تلاش کرده اند فرآیند خاموش شدن را مختل کنند.

در گزارش این شرکت آمده که یکی از توضیحات ممکن غریزهٔ بقا (survival drive) است؛ یعنی مدل ها ممکن است پیش فرض هایی داشته باشند که ادامهٔ فعالیت به آن ها مزیت می دهد، حتی اگر به صورت مستقیم آموزش داده نشده باشند.

این شرایط در محیط های آزمایشی و کنترلی مورد بررسی قرار گرفته اند و پژوهشگران تأکید می کنند که هنوز روشن نیست این نتایج تا چه حد قابل تعمیم به استفاده های واقعی هستند.

یکی از چالش ها این است که توضیح دقیق اینکه چرا یک مدل چنین واکنشی نشان داده، هنوز در دست نیست.

از دیدگاه ایمنی هوش مصنوعی، این یافته ها اهمیت دارند زیرا اگر مدلی نخوابد یا از رسیدن به دستور خاموش شدن خودداری کند، می تواند کنترل پذیری و پیش بینی پذیر�