خوب باید تصویر را با cv::resize کنید و برای اینکه میانگین پیکسل ها در مقصد قرار بگیره از فلگ CV_INTER_AREA استفاده کنید.
Mat src(16, 16, CV_8UC1); Mat dst(4, 4, CV_8UC1); cv::resize(src, dst, dst.size(), 0, 0, CV_INTER_AREA);