activation function

توضیح

هر neuron ابتدا مجموع وزن‌دار ورودی‌ها را محاسبه می‌کند و activation function روی مقدار حاصل اعمال می‌شود تا خروجی neuron ساخته شود. این تبدیل، رفتار غیرخطی به شبکه اضافه می‌کند؛ بدون آن، ترکیب چند لایهٔ خطی همچنان خطی می‌ماند. برای نمونه، ReLU مقدارهای منفی را صفر می‌کند و مقدارهای مثبت را تغییر نمی‌دهد، اما sigmoid مقدار ورودی را به بازهٔ بین صفر و یک می‌برد.

مثال

def relu(x):
    return max(0, x)

weighted_sum = 2 * (-1.3) + (-1) * 0.6 + 3 * 0.4
output = relu(weighted_sum)
print(output)  # 0

چرا مهمه

هنگام ساخت neural network با انتخاب این تابع روبه‌رو می‌شوی. انتخاب آن روی توانایی مدل در یادگیری الگوهای پیچیده و روند آموزش اثر می‌گذارد.

مفهوم‌های مرتبط

• convolutional neural networks
• dot product
• gradient descent