Mixture Of Experts
- Mixture Of Experts
HOPE؛ حذف expertها با درنظرگرفتن همکاری آنها در MoE
روش HOPE برای pruning در modelهای MoE، تعامل دوتایی expertها را هم در نظر میگیرد. نویسندگان در حذف ۵۰٪ expertها، تا ۶٫۱٪ بهبود در کارهای agentic coding نسبت به روش بعدی گزارش کردهاند.