Qwen3.8

  1. Qwen3.8

    آزمایش Qwen3.8 27B: اثر اندک KV cache هشت‌بیتی و هشدار درباره چهار‌بیتی

    در آزمایش ۳۵ حالت weight quantization برای Qwen3.8 27B،؜ KV cache هشت‌بیتی تغییر اندکی در KLD داشت. اثر cache چهاربیتی محسوس بود و در context طولانی‌تر افزایش یافت.

    یادگیری: ۳ مفهومافزوده‌شده reddit.com