شما تو هر فضای رنگی می تونید این فاصله را محاسبه کنید ولی یکی از فضاهای رنگی مناسب برای این کار L*a*b* هستش .برای محاسبه آن هم در OpenCV به صورت زیر عمل کنید.
Scalar color1, color2; double dif = norm(color1 - color2);