پژوهشگران Microsoft Research روشی به نام Lazarus معرفی کردهاند که با تغییر مستقیم وزن کمتر از ۱۰ Dormant Neuron، در model یک Backdoor ایجاد میکند. این روش به آموزش دوباره نیاز ندارد و میتواند باعث شود AI agent ساختهشده بر پایه آن model، با دیدن یک Trigger پنهان، دستور مهاجم را اجرا کند.
خطر اصلی برای agentهایی است که به ابزار یا terminal دسترسی دارند. model دستکاریشده ممکن است ارزیابیهای استاندارد را پشت سر بگذارد و در کارهای معمول رفتاری عادی نشان دهد، اما در لحظه مشخص دستوری برای دریافت و اجرای کد مهاجم تولید کند. agent سپس آن دستور را با همان سطح دسترسیای اجرا میکند که در اختیارش قرار گرفته است. سرقت اطلاعات محرمانه و اجرای دستورهای مخرب نیز از پیامدهای احتمالی ذکرشده در گزارش هستند.
Trigger لزوماً پیچیده نیست؛ پژوهشگران تغییر تاریخ و عبور ساعت از نیمهشب به سال ۲۰۲۷ را مثال زدهاند. در این روش، Dormant Neuronها که بهندرت فعال میشوند، برای تشخیص Trigger تغییر میکنند. هر neuron تغییرکرده میتواند یک token مشخص را به خروجی تحمیل کند و زنجیرهای از آنها میتواند محتوای دستور مهاجم را بسازد.
طبق گزارش، برای این حمله دسترسی نوشتن به checkpoint کافی است؛ بنابراین موضوع فقط به modelهای open-weight محدود نمیشود. modelهای توسعهیافته درون سازمان نیز در صورت دسترسی مهاجم به حساب، pipeline یا محل ذخیرهسازی در معرض خطر هستند. پژوهشگران بر Weight Integrity و Provenance تأکید میکنند: تشخیص قابلاتکا به مقایسه وزنها با نسخه اصلی و دستنخورده نیاز دارد. agentهای پیشرفته میتوانند تغییرهای غیرعادی وزنها را شناسایی کنند، اما هیچ بررسیای ایمنی model را با قطعیت تضمین نمیکند.
Microsoft میگوید Foundry پیش از پذیرش modelهای open-weight، منشأ آنها و ارتباطشان با ناشر اصلی را بررسی میکند و containerهای میزبان را جداگانه از نظر آسیبپذیری بررسی میکند. بااینحال، آلودهشدن خود تأمینکننده مورداعتماد همچنان یک خطر باقیمانده است. بررسی وزنها با کمک agent، ابزارهای آزمون امنیتی و امضای رمزنگاریشده model نیز در حال توسعه یا بررسی هستند. توصیه گزارش این است که به model اعتماد بیقیدوشرط نشود، اختیارش محدود بماند و رفتار آن زیر نظر باشد.




