سازندهٔ Int8-vllm در Reddit از به‌روزرسانی این fork برای Nemotron 3.5 Bolt 74B خبر داده است. به گفتهٔ او، این پروژه بخش عمدهٔ serving stack در vllm را برای int8 بازنویسی می‌کند؛ مسیری که پشتیبانی آن در نسخهٔ اصلی vllm را ناکافی توصیف می‌کند. هدف اولیه، پشتیبانی و بهینه‌سازی سروری با چهار MI100 بوده است.
این توسعه‌دهنده fork خود را نقطهٔ شروعی برای کارت‌های قدیمی‌تر AMD، از جمله MI50، MI210، MI250 و V620، و همچنین کارت‌های قدیمی‌تر Nvidia با تمرکز بر int8 مانند volta و ampere معرفی می‌کند. او گزارش داده که Qwen3.8 27B روی چهار MI100 یا دو MI210، در وضعیت C8، به سرعت decode بیش از ۱۰۰۰ token در ثانیه رسیده است. همچنین می‌گوید تعدادی bug محاسبات عددی در vllm و rocm را رفع کرده و با int8 بودن بیشتر وزن‌ها، activationها و KV cache، کیفیت بسیار نزدیک به مرجع BF16 است.
برای پشتیبانی از Bolt، این fork به‌جای checkpointهای سفارشی، checkpointهای اصلی Nvidia Bolt را اجرا می‌کند. این کار به افزودن Dequantization ترکیبی از NVFP4 و IQ2_xxs به int8 نیاز داشته است. نویسنده می‌گوید چون این عملیات درون kernel کند است، یک cache اضافه کرده که وزن‌های پرکاربرد را به‌شکل int8 نگه می‌دارد و نسخهٔ quantized اصلی آن‌ها را حذف می‌کند. اندازهٔ این cache قابل تنظیم است تا میان سرعت، context بیشتر یا prefix cache بزرگ‌تر انتخاب شود.
تغییر دیگر، پشتیبانی از AMD Infinity Storage برای بارگذاری مستقیم model از storage به GPU، بدون عبور از CPU است. طبق گزارش نویسنده، این تغییر زمان بارگذاری اولیهٔ Bolt را از حدود هفت دقیقه به دو دقیقه کاهش داده است. او همچنین می‌گوید این fork را چند هفته در production اجرا کرده و در این مدت بسیار پایدار بوده است.
