Acceder a píxeles con Mat OpenCV

Me gustaría acceder a píxeles en RGB con OpenCV 2.3. Estoy intentando así, pero es como si todos los píxeles fueran iguales cuadro tras cuadro porque no obtuve salida. Las imágenes son de mi cámara web y puedo verlas. Por cierto ROJO = 0;

GRACIA

Mat frame;
Mat oldFrame;

VideoCapture cap(0);
cap >> oldFrame;
sumFramePix = oldFrame.cols * oldFrame.rows;
nbChannels = oldFrame.channels();
cout << "NbcHANNELs : " << nbChannels << endl;
imshow("Video 1", oldFrame);

while(1)
{
    cap >> frame;
    imshow("Video 1", frame);

    for(int i=0; i<frame.rows; i++)
    {
        for(int j=0; j<frame.cols; j++)
        {
            if (frame.ptr<uchar>(i)[nbChannels*j+RED] < oldFrame.ptr<uchar>(i)[nbChannels*j+RED])
            {
                cout << "==============-";
            }
        }
    }
    oldFrame = frame;

    if(waitKey(300) >= 0) break;
}

Respuestas a la pregunta(1)

Su respuesta a la pregunta