KL divergence
معیاری برای اندازه‌گیری فاصله یک توزیع احتمال از توزیع مرجع؛ مقدار صفر نشان می‌دهد این دو تفاوتی ندارند.
این تعریف را هوش مصنوعی از روی مطالب فیدآپ نوشته است.
مطالبی با این مفهوم
- Qwen3.8
آزمایش Qwen3.8 27B: اثر اندک KV cache هشت‌بیتی و هشدار درباره چهاربیتی
در آزمایش ۳۵ حالت weight quantization برای Qwen3.8 27B، KV cache هشت‌بیتی تغییر اندکی در KLD داشت. اثر cache چهاربیتی محسوس بود و در context طولانی‌تر افزایش یافت.