یک مدل با واریانس بالا، مدلی است که به جزئیات دادههای آموزشی، از جمله نویز و نقاط پرت، بسیار حساس است. این موضوع میتواند منجر به بیشبرازش شود که در آن مدل روی دادههای آموزشی عملکرد خوبی دارد اما روی دادههای جدید و دیده نشده عملکرد ضعیفی دارد.
چندین راه برای شناسایی یک مدل با واریانس بالا وجود دارد:
-
مدل خطای آموزش پایین اما خطای آزمون بالایی دارد.
-
عملکرد مدل به انتخاب دادههای آموزشی بسیار حساس است.
-
مدل تعداد زیادی پارامتر نسبت به اندازه مجموعه داده آموزش دارد.
برای رفع یک مدل با واریانس بالا، میتوانید از تکنیکهای زیر استفاده کنید:
-
سادهسازی مدل با کاهش تعداد پارامترها یا استفاده از الگوریتم سادهتر.
-
افزایش اندازه مجموعه داده آموزش برای فراهم کردن اطلاعات بیشتر برای یادگیری مدل.
-
استفاده از تکنیکهای منظمسازی مانند منظمسازی L1 یا L2 برای جریمه کردن مقادیر پارامتر بزرگ و جلوگیری از بیشبرازش.
-
استفاده از روشهای تجمعی مانند bagging یا boosting برای ترکیب چندین مدل و کاهش واریانس.