HOPE

  1. Mixture Of Experts

    HOPE؛ حذف expert‌ها با درنظرگرفتن همکاری آن‌ها در MoE

    روش HOPE برای pruning در model‌های MoE،؜ تعامل دوتایی expert‌ها را هم در نظر می‌گیرد. نویسندگان در حذف ۵۰٪ expert‌ها، تا ۶٫۱٪ بهبود در کارهای agentic coding نسبت به روش بعدی گزارش کرده‌اند.

    یادگیری: ۵ مفهومافزوده‌شده huggingface.co