برچسب‌های منبع

llama.cpp

1. 

   llama.cpp

   پیشنهاد اجرای بخشی از expert‌های خارج از cache روی CPU در llama.cpp

   pull request شمارهٔ 30966 در llama.cpp اجرای بخشی از expert‌های خارج از cache روی CPU را پیشنهاد می‌کند و یک script برای تنظیم اندازهٔ cache و سهم CPU دارد.

   یادگیری: ۴ مفهومافزوده‌شده ۳ ساعت پیشgithub.com