learning rate

توضیح

در آموزش مدل، gradient جهت و شدت تغییر خطا نسبت به پارامترها را نشان می‌دهد. در هر گام gradient descent، این مقدار در learning rate ضرب می‌شود و حاصل از پارامترها کم می‌شود. مقدار خیلی کوچک، آموزش را کند می‌کند؛ مقدار خیلی بزرگ هم ممکن است باعث عبور از نقطهٔ مناسب و نرسیدن به convergence شود.

مثال

weight = 2.0
gradient = 0.5
learning_rate = 0.1

weight = weight - learning_rate * gradient

چرا مهمه

هنگام آموزش مدل، اگر معیار خطا خیلی کند کم شود یا مدام بالا و پایین برود، learning rate یکی از تنظیماتی است که باید بررسی کنی.

مفهوم‌های مرتبط

• Algorithm
• metrics