gradient descent

توضیح

در هر گام، gradient نشان می‌دهد loss نسبت به پارامترها در چه جهتی بیشتر می‌شود؛ gradient descent در جهت مخالف حرکت می‌کند. اندازهٔ این حرکت را learning rate تعیین می‌کند. در آموزش مدل، این فرایند با تغییر weights و biases تکرار می‌شود تا loss کاهش پیدا کند، اما رسیدن به کمترین مقدار ممکن تضمین‌شده نیست.

مثال

# loss = w ** 2; gradient = 2 * w
w = 4.0
learning_rate = 0.1
for _ in range(20):
    w -= learning_rate * (2 * w)
print(w)

چرا مهمه

هنگام آموزش مدل و تنظیم learning rate با آن روبه‌رو می‌شوی. شناخت آن کمک می‌کند بفهمی چرا loss کاهش می‌یابد، کند پیش می‌رود یا ناپایدار می‌شود.

مفهوم‌های مرتبط

• Algorithm
• convolutional neural networks
• Weight-Space Programming