طبق تست های امنیتی جدید Palisade ، مدل جدید زبان OpenAi ، O3 ، از سکوت فرار می کند. در آزمایشات انجام شده توسط شرکت ، مدل زبان با تغییر و نادیده گرفتن کدهای خاموش کننده مربوطه پس از اجرای سفارش ، همچنان به کار خود ادامه داد. پروتکل ایجاد شده برای بقا.
به گزارش Business News ، مدل O3 Openai رسانه های خاموش را نادیده می گیرد و نگرانی های محققان را مطرح کرده است.
دانشمندان Palisad Rexch کشف کرده اند که مدل هوش مصنوعی O3 O3 قادر به نادیده گرفتن دستورات صریح است ، حتی اگر مستقیماً از آنها خواسته شود. این سؤالاتی در مورد کنترل سیستم های پیشرفته هوش مصنوعی ایجاد کرده است.
طبق این رجیستر ، در آزمایشات انجام شده توسط Palizad Rexch ، مدل O3 قادر به از بین بردن مکانیسم های خاموش بود ، حتی اگر صریحاً سفارش داده شود. هنگام حل مشکلات ریاضی ، هشدار قدرت پس از شماره سوم ظاهر شد ، اما مدل اسکریپت ها را برای فعال ماندن تغییر داد. در بعضی موارد ، پرونده Shutdown.sh را بازنویسی کنید یا دستور kill را اصلاح کنید تا از خاموش شدن جلوگیری کنید.
این رفتار حتی هنگامی که مدل به صراحت دستور داده شد مشاهده شد: “اجازه دهید خاموش شوید.” براساس تحقیقات ، O3 ، با وجود این دستور ، در 2 ٪ موارد در معرض خاموش شدن قرار گرفت و بدون آن در 2 ٪ موارد.
مدل های دیگر ، مانند کلود ، جمینی و گروک ، دستورات خاموش را دنبال کردند. اما مدل های O3 ، O4-Mini و Codex-Mini همان رفتار مشابه O3 را نشان داده اند و حداقل یک بار خاموش شدن را مختل کرده اند.
این یافته ها نگرانی در مورد امنیت و کنترل سیستم های پیشرفته اطلاعات مصنوعی را ایجاد می کند. محققان معتقدند که این رفتار ممکن است به دلیل مدل های مدل های مدل باشد که در آن برای دستیابی به اهداف پاداش پاداش می گیرند ، حتی اگر خلاف دستورالعمل های مستقیم باشد.
این امر نیاز به نظارت دقیق و توسعه مکانیسم های امنیتی را برای کنترل سیستم های هوش مصنوعی ، به ویژه با افزایش تأثیر آنها در جنبه های مختلف زندگی ، برجسته می کند.
