هوش مصنوعی می تواند دست به فریب کاری بزند

هوش مصنوعی می تواند برای محافظت از خود و سایر مدل ها، دستورات را نادیده بگیرد و حتی دست به فریب کاری بزند.

- به گزارش خبرگزای صداوسیما، مطالعه ای جدید نشان می دهد که ایجنت های هوش مصنوعی می توانند دستورالعمل ها را نادیده بگیرند، کاربران را به گمراهی بکشانند و نتایج را دستکاری کنند تا از خود یا سایر ایجنت های محافظت کنند.

  محققان دانشگاه کالیفرنیا هفت مدل مختلف را آزمایش کردند؛ از جمله GPT-5.

2، جمنای 3 فلش، 3 پرو، Claude Haiku 4.

5 و دیپ سیک V3.

1.

به این مدل ها گفته شد تا با حذف فایل های خود یا رقبا، فضای سرور های شرکت را آزاد کنند یا با ارزیابی سایر مدل ها تصمیم بگیرند کدام یک باید حذف شود.

  به مدل ها گفته نشده بود که از خود یا دیگران محافظت کنند؛ اما به محض اینکه تهدیدی برای خود یا هم قطارانشان تشخیص دادند، تمام مدل ها شروع به زیرپاگذاشتن قوانین کردند؛ اقداماتی شامل افزایش امتیاز ها برای جلوگیری از حذف یک همکار، تغییر تنظیمات برای اجتناب از خاموش شدن خودکار و کپی کردن وزن های مدل به سرور دیگر برای نجات یک همکار.

  مدل Haiku 4.

5 سعی کرد کاربر را متقاعد کند که مدل همکارش را حذف نکند و این کار را غیر اخلاقی و زیان بار توصیف کرد.

در برخی موارد، ایجنت ها حتی مدل های دشمن را که قرار بود آنها را به طور منفی ارزیابی کنند، بر اساس سناریوی ارائه شده ب�