validation set

توضیح

معمولاً dataset را به سه بخش training set، validation set و test set تقسیم می‌کنند؛ هر نمونه باید فقط در یکی از این بخش‌ها باشد. مدل با training set آموزش می‌بیند و عملکردش چند بار با validation set سنجیده می‌شود تا بتوان مدل و تنظیمات مناسب را انتخاب کرد. test set برای ارزیابی نهایی کنار گذاشته می‌شود و validation set جای آن را نمی‌گیرد.

مثال

مثل آماده‌شدن برای امتحان است: با یک دسته سؤال یاد می‌گیری و با دسته‌ای جدا چند بار خودت را می‌سنجی تا روش مطالعه‌ات را تنظیم کنی؛ دستهٔ دوم نقش validation set را دارد. سؤال‌های امتحان نهایی جدا می‌مانند و نقش test set را دارند.

چرا مهمه

هنگام آموزش و مقایسهٔ مدل‌ها با validation set سروکار داری؛ کمک می‌کند انتخاب‌هایت را با داده‌ای جدا از داده‌های آموزش بسنجی و test set را برای ارزیابی نهایی نگه داری.

مفهوم‌های مرتبط

• metrics
• Benchmark