مدل سازی احتمالی کاربرد اصول آماری برای تحلیل داده‌ها است . این روش یکی از اولین روش های یادگیری ماشین است و هنوز هم به طور گسترده در این روزها استفاده میشود . یکی از الگوریتم‌های شناخته شده در این دسته الگوریتم بیز ساده است .
بیز ساده نوعی طبقه بندی کننده یادگیری ماشین با استفاده از قضیه بیز است در حالی که فرض می‌کنیم ویژگی‌های داده‌های ورودی مستقل هستند . این شکل از داده‌ها چندین دهه قبل , به کار گرفته شد . قضیه بیز و مبانی تاریخ آمار به قرن هیجدهم برمی‌گردد , و این تمام چیزی است که شما باید با استفاده از دسته‌بندی ساده بیز شروع کنید .
یک مدل بسیار نزدیک به آن , رگرسیون لجستیک است که گاهی اوقات به عنوان " hello world " در یادگیری ماشین مدرن استفاده میشود . این الگوریتم به جای یک الگوریتم رگرسیون , یک الگوریتم طبقه‌بندی است . با این حال , به لطف طبیعت ساده و چند منظوره آن هنوز هم برای امروزه مفید است . این اولین چیزی است که یک دانشمند اطلاعات بر روی یک مجموعه داده اعمال می کند تا حسی نسبت به کار طبقه‌بندی که در دست دارد ، بدست آورد.