در یادگیری ماشین، تابع زیان یک معیار برای اندازه‌گیری عملکرد یک مدل بر روی یک مجموعه داده داده شده است. این برای راهنمایی فرآیند آموزش با ارائه بازخورد در مورد چگونگی بهبود پیش‌بینی‌های مدل استفاده می‌شود.
در شبکه‌های عصبی، تابع زیان معمولاً برای اندازه‌گیری تفاوت بین خروجی‌های پیش‌بینی شده شبکه و خروجی‌های هدف واقعی استفاده می‌شود. هدف از فرآیند آموزش این است که این تابع زیان را به حداقل برساند.
در اینجا چند نکته برای انتخاب یک loss function خوب هنگام آموزش مدل های یادگیری عمیق آورده شده است:
-
برای طبقه بندی، معمولاً cross entopy انتخاب پیش فرض است. این میزان خطا احتمال را اندازه گیری می کند و برای مسائل چند کلاسه مناسب است.
-
برای رگرسیون، MSE یا L1 losses رایج هستند. MSE خطاهای بزرگ را مجازات می کند، در حالی که L1 در برابر خروجی های نادرست مقاوم تر است.
-
برای مسائل رتبه بندی، permutative یا triplet losses موثر هستند. آنها به جای خروجی های مطلق، ترتیبات نسبی را بهینه می کنند.
-
از losses سفارشی برای معیارهای خاص حوزه می توان استفاده کرد. به عنوان مثال، IoU loss برای segmenting یا CTC loss برای sequences.
-
Loss ها باید با توزیع متغیرهای هدف مطابقت داشته باشند. به عنوان مثال، entropپی متقاطع برای دوتایی ها، loss Poisson برای شمارش ها.
-
توابع زیان وزندار به حل عدم تعادل کلاس با دادن اهمیت بیشتر به کلاس های اقلیت کمک می کنند.
-
به تفاوت مقیاس بین terms زیان هنگام ترکیب چندین جزء زیان توجه داشته باشید.
-
تأیید کنید که آیا یک loss چند جزء پیچیده واقعاً در حال کمک است یا باعث بدتر شدن overfitting می شود.
-
منحنی های زیان و اجزای آن را در حین آموزش برای کسب بینش در مورد رفتار مدل ترسیم کنید.
-
از losses مختلف استفاده کنید و بر اساس معیارهای پایانی مانند accuracy، AUC، IoU به جای مقدار loss خود ارزیابی کنید.
به طور خلاصه، هنگام انتخاب یک loss مناسب، مدل معماری، توزیع داده، نوع مشکل و معیار ارزیابی را در نظر بگیرید.