Lazarus؛ ایجاد backdoor در AI agent با تغییر کمتر از ۱۰ neuron غیرفعال

چرا مهم است

اگر به دستیار هوشمندت اجازه اجرای دستور می‌دهی، قبولی در آزمون‌های معمول برای اعتماد کافی نیست. این پژوهش نشان می‌دهد یک پنهان می‌تواند تا زمان مشخصی بی‌اثر بماند و بعد از همان دسترسی‌ها سوءاستفاده کند.

قبل از خواندن، این‌ها را بدان۵ مفهوم
Backdoor

دست‌کاری پنهانی در یک سیستم که در شرایط مشخص، رفتاری خارج از عملکرد عادی یا مجاز ایجاد می‌کند.

در حال نگارش: Backdoor

Provenance

اطلاعات قابل‌بررسی درباره منشأ یک model یا داده و سابقه انتقال و تغییر آن، از تولیدکننده تا محل استفاده.

در حال نگارش: Provenance

Dormant Neuron

یک neuron در neural network که هنگام پردازش ورودی‌ها به‌ندرت فعال می‌شود.

در حال نگارش: Dormant Neuron

Trigger

ورودی، رویداد یا شرط مشخصی که با وقوع آن یک رفتار ازپیش‌تعیین‌شده فعال می‌شود.

در حال نگارش: Trigger

Weight Integrity

اطمینان از اینکه وزن‌های یک model بدون تغییر غیرمجاز باقی مانده‌اند و با نسخه معتبر آن مطابقت دارند.

در حال نگارش: Weight Integrity

پژوهشگران Microsoft Research روشی به نام Lazarus معرفی کرده‌اند که با تغییر مستقیم وزن کمتر از ۱۰ Dormant Neuron،؜ در model یک Backdoor ایجاد می‌کند. این روش به آموزش دوباره نیاز ندارد و می‌تواند باعث شود AI agent ساخته‌شده بر پایه آن model،؜ با دیدن یک Trigger پنهان، دستور مهاجم را اجرا کند.

خطر اصلی برای agent‌هایی است که به ابزار یا terminal دسترسی دارند. model دست‌کاری‌شده ممکن است ارزیابی‌های استاندارد را پشت سر بگذارد و در کارهای معمول رفتاری عادی نشان دهد، اما در لحظه مشخص دستوری برای دریافت و اجرای کد مهاجم تولید کند. agent سپس آن دستور را با همان سطح دسترسی‌ای اجرا می‌کند که در اختیارش قرار گرفته است. سرقت اطلاعات محرمانه و اجرای دستورهای مخرب نیز از پیامدهای احتمالی ذکرشده در گزارش هستند.

Trigger لزوماً پیچیده نیست؛ پژوهشگران تغییر تاریخ و عبور ساعت از نیمه‌شب به سال ۲۰۲۷ را مثال زده‌اند. در این روش، Dormant Neuron‌ها که به‌ندرت فعال می‌شوند، برای تشخیص Trigger تغییر می‌کنند. هر neuron تغییرکرده می‌تواند یک token مشخص را به خروجی تحمیل کند و زنجیره‌ای از آن‌ها می‌تواند محتوای دستور مهاجم را بسازد.

طبق گزارش، برای این حمله دسترسی نوشتن به checkpoint کافی است؛ بنابراین موضوع فقط به model‌های open-weight محدود نمی‌شود. model‌های توسعه‌یافته درون سازمان نیز در صورت دسترسی مهاجم به حساب، pipeline یا محل ذخیره‌سازی در معرض خطر هستند. پژوهشگران بر Weight Integrity و Provenance تأکید می‌کنند: تشخیص قابل‌اتکا به مقایسه وزن‌ها با نسخه اصلی و دست‌نخورده نیاز دارد. agent‌های پیشرفته می‌توانند تغییرهای غیرعادی وزن‌ها را شناسایی کنند، اما هیچ بررسی‌ای ایمنی model را با قطعیت تضمین نمی‌کند.

Microsoft می‌گوید Foundry پیش از پذیرش model‌های open-weight،؜ منشأ آن‌ها و ارتباطشان با ناشر اصلی را بررسی می‌کند و container‌های میزبان را جداگانه از نظر آسیب‌پذیری بررسی می‌کند. بااین‌حال، آلوده‌شدن خود تأمین‌کننده مورداعتماد همچنان یک خطر باقی‌مانده است. بررسی وزن‌ها با کمک agent،؜ ابزارهای آزمون امنیتی و امضای رمزنگاری‌شده model نیز در حال توسعه یا بررسی هستند. توصیه گزارش این است که به model اعتماد بی‌قیدوشرط نشود، اختیارش محدود بماند و رفتار آن زیر نظر باشد.

نکته کلیدی

منشأ و سابقه تغییرهای مدل را جدی بگیر؛ برای مقایسه با نسخه اصلی اهمیت دارد. اختیار اجرای دستور را محدود کن و رفتار دستیار را زیر نظر بگیر، چون هیچ بررسی‌ای تضمین کامل ایمنی نیست.

خواندن مقاله اصلی (در زبانه‌ی جدید باز می‌شود)
برچسب‌ها (۳)