Как эффективнее всего заполнить область Mat нулём с помощью OpenCV C++?

Я бы выбрал setTo() (http://docs.opencv.org/modules/core/doc/basic_structures.html?highlight=setto#Mat&%20Mat%3a%3asetTo%28InputArray%20value,%20InputArray%20mask%29), например так:

// read the picture
cv::Mat frame = cv::imread("sample-gray.jpg", CV_LOAD_IMAGE_COLOR);

// choose the area to modify
cv::Mat region = frame(cv::Rect(12, 12, 24, 24));

// give that area an rgb colour
region.setTo(cv::Scalar(blueChannel, greenChannel, redChannel));

Допустим, на белом холсте рисуется чёрный прямоугольник:

cv::Mat canvas(120,120,CV_8U,cv::Scalar(255));
canvas(cv::Rect(18,18,24,48)) = 0;
cv::imshow("Img",canvas);
cv::waitKey();

Попробуйте этот небольшой фрагмент

Mat frame;
frame = imread("images/sample-gray.jpg");
int left=120;int top=120; int width=120;int height=120;
Rect region = Rect(left,top,width,height);
frame(region).setTo(cv::Scalar(0,0,0));
imshow("display",frame);