در یک شبکه عصبی، نرخ یادگیری یک فراپارامتر است که اندازه گام را کنترل می کند که در آن بهینه ساز به روز رسانی وزن های شبکه را در طول آموزش انجام می دهد. نرخ یادگیری یک مقدار اسکالر است که در گرادیان تابع ضرر با توجه به وزن ها ضرب می شود تا مقدار به روز رسانی مشخص شود. نرخ یادگیری کوچک منجر به همگرایی آهسته اما با به روز رسانی دقیق تر وزن ها می شود، در حالی که نرخ یادگیری زیاد منجر به همگرایی سریع اما با به روز رسانی غیر دقیق تر وزن ها می شود.
روش های مختلفی برای تنظیم میزان یادگیری در طول فرآیند آموزش وجود دارد، مانند:
نرخ یادگیری ثابت: میزان یادگیری قبل از آموزش روی یک مقدار ثابت تنظیم می شود و در طول فرآیند آموزش ثابت می ماند.
نرخ یادگیری تطبیقی: نرخ یادگیری در طول فرآیند آموزش بر اساس عملکرد شبکه تنظیم می شود. یکی از روشهای محبوب، بهینهساز Adam است که به طور خودکار میزان یادگیری را در طول فرآیند آموزش تطبیق میدهد.
نرخ یادگیری برنامه ریزی شده: نرخ یادگیری برنامه ریزی شده است که در نقاط خاصی در طول فرآیند آموزش تغییر کند. به عنوان مثال، نرخ یادگیری را می توان در طول زمان کاهش داد تا به بهینه ساز کمک کند تا به حداقل محلی یا جهانی همگرا شود.
انتخاب نرخ یادگیری مناسب بخش مهمی از آموزش یک شبکه عصبی است و می تواند تاثیر قابل توجهی بر عملکرد مدل داشته باشد. معمولاً با آزمون و خطا انجام میشود و معمولاً تمرین خوبی است که مقادیر مختلف نرخ یادگیری را امتحان کنید و بهترین نتایج را انتخاب کنید، یا از تکنیکهایی مانند جستجوی شبکهای یا جستجوی تصادفی برای یافتن بهترین نرخ یادگیری استفاده کنید.