نویسندگان Amazon در مقاله‌ای روش HOPE، مخفف Higher-Order Pruning of Experts، را برای کوچک‌کردن modelهای MoE معرفی کرده‌اند. تفاوت اصلی این روش با رویکردهای رایج، توجه به همکاری بین expertهاست: تصمیم حذف فقط بر اساس اهمیت جداگانه هر expert گرفته نمی‌شود، بلکه تعامل دوتایی آن‌ها هم در محاسبه وارد می‌شود.
مسئله از مصرف حافظه در inference شروع می‌شود. در MoE، همه expertها باید در حافظه باشند، اما برای هر token فقط تعداد کمی فعال می‌شوند. طبق مثال مقاله، Qwen3.5-122B در هر یک از ۴۸ لایه MoE خود ۲۵۶ expert دارد و حدود ۹۵٪ از حافظه تقریباً ۲۵۰ گیگابایتی parameterهای آن به expert MLPها اختصاص دارد؛ درحالی‌که برای هر token فقط ۸ expert در هر لایه استفاده می‌شوند.
Expert Pruning با حذف دائمی expertهای کم‌اهمیت به این مسئله پاسخ می‌دهد. طبق متن، این کار به آموزش نیاز ندارد، با quantization قابل ترکیب است و مشکلات latency مربوط به بارگذاری و خارج‌کردن پویای expertها از حافظه را ندارد. چالش اصلی، انتخاب expertهایی است که حذفشان کمترین آسیب را ایجاد کند.
روش‌های first-order به هر expert امتیازی مستقل می‌دهند و کم‌امتیازترین‌ها را حذف می‌کنند. اما نویسندگان می‌گویند expertها گروه‌های همکاری پایداری می‌سازند و مرتب با هم فعال می‌شوند. حذف یک expert که به‌تنهایی کم‌اهمیت به نظر می‌رسد، ممکن است همکاری آن با یک expert مهم را از بین ببرد؛ مسئله‌ای که در نرخ‌های حذف بالا پررنگ‌تر می‌شود.
HOPE یک روش second-order است. این روش روی Calibration Dataset ماتریسی می‌سازد که درایه‌های قطری آن اهمیت فردی و درایه‌های خارج از قطر آن سهم همکاری دوتایی expertها را ثبت می‌کنند. سپس با حل یک مسئله Quadratic Programming، با استفاده از continuous relaxation و گردکردن نتیجه به انتخاب‌های دودویی، مجموعه حذف را تعیین می‌کند. هدف، کمینه‌کردن یک معیار جایگزین برای مؤلفه غالب خطای ناشی از حذف است، نه حل مستقیم خطای واقعی.
نویسندگان گزارش می‌کنند که HOPE در حذف ۵۰٪ expertها، بهترین میانگین رتبه را میان روش‌های مقایسه‌شده دارد و در کارهای agentic coding تا ۶٫۱٪ از روش بعدی بهتر عمل کرده است. این نتیجه مشخصاً به همین ارزیابی و نرخ حذف مربوط است.
