batch size

توضیح

در آموزش مدل، داده‌های training set به batch‌ها تقسیم می‌شوند و تعداد نمونه‌های هر batch را batch size می‌نامند. در هر مرحله، مدل با استفاده از نمونه‌های همان batch، gradient را محاسبه و پارامترهایش را به‌روز می‌کند. در SGD این تعداد یک است، در full batch همهٔ نمونه‌های آموزشی را شامل می‌شود و در mini-batch فقط بخشی از آن‌هاست. این انتخاب بر مصرف حافظه، سرعت پردازش و روند یادگیری اثر می‌گذارد.

مثال

samples = [1, 2, 3, 4, 5, 6]
batch_size = 2

for start in range(0, len(samples), batch_size):
    batch = samples[start:start + batch_size]
    print(batch)

چرا مهمه

هنگام تنظیم آموزش مدل با آن روبه‌رو می‌شوی؛ باید اندازه‌ای انتخاب کنی که هم در حافظه جا شود و هم پردازش کارآمد و یادگیری مناسبی داشته باشد.

مفهوم‌های مرتبط

• training set
• gradient descent
• epoch
• learning rate