نرمالسازی دستهای تکنیکی است که در یادگیری عمیق برای نرمالسازی لایه ورودی با تنظیم و مقیاسبندی فعالسازیهای لایه قبلی در هر دسته، به منظور کاهش تغییر متغیر داخلی و بهبود عملکرد کلی مدل استفاده میشود.
در یادگیری عمیق، داده های ورودی از طریق چندین لایه شبکه های عصبی منتقل می شوند که هر لایه دارای مجموعه ای از وزن ها و سوگیری های خاص خود است. با انتشار دادههای ورودی در لایهها، توزیع فعالسازیها میتواند تغییر کند که منجر به پدیدهای به نام تغییر متغیر داخلی میشود. این می تواند روند آموزش را کند کرده و همگرایی مدل را دشوارتر کند.
نرمال سازی دسته ای این مشکل را با عادی سازی فعال سازی هر لایه در هر دسته برطرف می کند. این کار را ابتدا با محاسبه میانگین و انحراف استاندارد فعالسازیها برای دسته فعلی انجام میدهد و سپس از این مقادیر برای تنظیم و مقیاسبندی فعالسازیها استفاده میکند. این تضمین میکند که توزیع فعالسازیها در طول آموزش نسبتاً پایدار باقی میماند، که میتواند روند آموزش را سرعت بخشد و عملکرد کلی مدل را بهبود بخشد.
توجه به این نکته ضروری است که Normalization دسته ای معمولاً قبل از عملکرد فعال سازی اعمال می شود و معمولاً در لایه های پنهان استفاده می شود، اما می توان آن را در لایه ورودی نیز اعمال کرد.
به طور خلاصه، نرمال سازی دسته ای تکنیکی است که در یادگیری عمیق برای عادی سازی فعال سازی هر لایه در هر دسته، به منظور کاهش تغییر متغیر داخلی و بهبود عملکرد کلی مدل استفاده می شود.