KV cache
داده‌های Key و Value محاسبه‌شده برای tokenهای قبلی که هنگام تولید token بعدی دوباره استفاده می‌شوند.
این تعریف را هوش مصنوعی از روی مطالب فیدآپ نوشته است.
مطالبی با این مفهوم
- Qwen3.8
آزمایش Qwen3.8 27B: اثر اندک KV cache هشت‌بیتی و هشدار درباره چهاربیتی
در آزمایش ۳۵ حالت weight quantization برای Qwen3.8 27B، KV cache هشت‌بیتی تغییر اندکی در KLD داشت. اثر cache چهاربیتی محسوس بود و در context طولانی‌تر افزایش یافت.