AMD
- Int8-vllm
Int8-vllm با پشتیبانی از Nemotron 3.5 Bolt 74B بهروز شد
سازندهٔ Int8-vllm از اجرای checkpointهای اصلی Nvidia Bolt، افزودن cache برای وزنهای int8 و پشتیبانی از AMD Infinity Storage خبر داده است.
سازندهٔ Int8-vllm از اجرای checkpointهای اصلی Nvidia Bolt، افزودن cache برای وزنهای int8 و پشتیبانی از AMD Infinity Storage خبر داده است.