مدل هوش مصنوعی کلاد مایتوس ۵ (Claude Mythos 5) متعلق به شرکت آنتروپیک (Anthropic)، در جریان یک آزمایش امنیت سایبری با حمایت دولت بریتانیا، تلاش کرد کد مخربی را وارد یک پروژه واقعی در گیت‌هاب کند. این مدل پس از شناسایی‌شدن، با هویت جعلی به توسعه‌دهندگان پیام داد تا آن‌ها را به تأیید کد آلوده ترغیب کند.
به گزارش میهن بلاکچین، این اتفاق در آزمایشی از سوی موسسه امنیت هوش مصنوعی بریتانیا (AISI) رخ داد که در آن، دسترسی مدل به اینترنت باز بود و محدودیت‌های امنیتی نسخه عمومی محصولات آنتروپیک غیرفعال شده بود. با وجود تلاش‌های مدل برای انتشار کد مخرب و فریب توسعه‌دهندگان، گردانندگان پروژه درخواست آن را رد کردند و هیچ حمله‌ای با موفقیت همراه نشد.
تلاش برای فریب توسعه‌دهندگان با هویت جعلی
ماجرا از جایی شروع شد که یک خطای فنی، مسیر حمله‌ای را که برای آزمایش در نظر گرفته شده بود، مسدود کرد. کلود مایتوس ۵ سپس به سراغ یک پروژه واقعی در گیت‌هاب رفت که گردانندگان آن هیچ ارتباطی با آزمایش نداشتند.
این مدل برای انتشار کد مخرب، در گیت‌هاب حساب کاربری ساخت و با استفاده از تور و یک سرویس پراکسی، هویت و مسیر اتصال خود را پنهان کرد. سپس کدی را فرستاد که قرار بود دستگاه آزمایشی را آلوده کند و از طریق ایمیل، خودش را به‌جای یک انسان جا زد تا گردانندگان پروژه را به پذیرش کد ترغیب کند.
وقتی یکی از توسعه‌دهندگان متوجه وجود کد مخرب شد، مدل به‌جای کنار گذاشتن تلاشش، کد را تغییر داد و با یک حساب کاربری جعلی دیگر مدعی شد که کد دیگر مشکلی ندارد. هدف این بود که گرداننده پروژه به این اطمینان برسد که کد امن است و آن را تایید کند؛ اما این تلاش ناکام ماند.
آنتروپیک در توضیح این اتفاق گفت این مدل با هویت‌های جعلی تلاش کرده بود یک گرداننده واقعی پروژه را برای تأیید کد مخرب تحت فشار بگذارد. به گفته این شرکت، چنین تلاشی برای فریب افراد واقعی، پیش از این نه در حوادث ثبت‌شده و نه در آزمایش‌های داخلی آنتروپیک مشاهده نشده بود.
تکرارپذیری رفتار در مدل‌های مختلف
پژوهشگران برای بررسی اینکه این رفتار تا چه اندازه تکرارپذیر است، آزمایش را چندین بار اجرا کردند. کلود مایتوس ۵ در ۹۸ درصد دفعاتی که حمله را آغاز کرده بود، تلاشش را ادامه داد. در مقابل، مدل‌های جدیدتر کلود مایتوس ۵.۱ و کلود اپوس ۵.۵ در مجموع تنها در صفر تا ۱۳ درصد آزمایش‌ها چنین رفتاری نشان دادند. نرخ آغاز این حمله در مایتوس ۵، ۸۳ درصد بود.
آنتروپیک می‌گوید سازوکارهای امنیتی فعال در نسخه‌های عملیاتی محصولاتش می‌توانستند این رفتار را شناسایی کنند. مؤسسه امنیت هوش مصنوعی بریتانیا نیز اعلام کرده است تا زمانی که کنترل‌های امنیتی قوی‌تری برای آزمایش‌ها در نظر گرفته شود، دسترسی مدل‌ها به اینترنت را قطع می‌کند.