لزوم استفاده از داده های validation در هنگام آموزش شبکه عمیق

Question

سلام . چرا داده های بخش آموزش را به دو دسته تقسیم می کنیم بخش validation چه تاثیری بر آموزش شبکه داره و آیا می تونه نباشه؟

Answer 1

بعد از هر epoch محاسبه lossبر روی داده های validation صورت می گیره چنانچه lossدر حال بزرگ شدن باشه در حالیکه lossمربوط به ترین در حال کوچک شدن باشه مدل شما overfitting شده که در این شرایط باید با روش های موجود overfitting را برطرف کنید