روش صحیح کاهش مقدار loss در keras

Question

سلام به دوستان عزیز.

من شبکه mobilenet را جهت کلاسیفکیشن داده های 2 کلاسه استفاده می کنم .learninrate=1e-3 گذاشتم loss تا یه حدی پایین اومد و گیر کرد مجددا lr=1e-5 گذاشتم این بار loss به صورت پلاکانی اومد پایین و خیلی هم کم شد ولی دقت validation روی داده داده شده 0.9999 که مشخصه اشتباهه ولی روی داده های تست دقت پایینه اشتباه کجاست برای رفع این مشکل چه راه حلی پیشنهاد میدید؟

Answer 1

به نظر می رسد که ممکن است مدل خود را بیش از حد برازش دهید، به این معنی که داده های آموزشی را به خوبی یاد می گیرد، اما به خوبی به داده های دیده نشده تعمیم نمی دهد. برای حل این مشکل، برخی از راه حل های رایج عبارتند از:

 

افزودن داده های متنوع تر به مجموعه آموزشی شما

استفاده از تکنیک های منظم سازی، مانند dropout  یا منظم سازی L1/L2

کاهش پیچیدگی مدل خود با کاهش تعداد پارامترها یا استفاده از معماری شبکه کوچکتر

توقف زودهنگام، به معنی توقف تمرین زمانی که کاهش validation loss به افزایش می‌کند تا از برازش بیش از حد جلوگیری شود

همچنین مهم است که معیارهای ارزیابی صحیح را با دقت انتخاب کنید و مطمئن شوید که آنها با کاری که می‌خواهید حل کنید aligned هستند، زیرا دقت 0.9999 ممکن است شاخص قابل اعتمادی برای عملکرد نباشد.