Como a memória cache funciona?

Hoje, quando eu estava na aula de organização de computadores, o professor falou sobre algo interessante para mim. Quando se trata de Por que a memória cache funciona, ele disse que:

for (i=0; i<M; i++)
   for(j=0; j<N; j++)
      X[i][j] = X[i][j] + K; //X is double(8 bytes)

não é bom mudar a primeira linha pela segunda. Qual a sua opinião sobre isso? E por que é assim?

questionAnswers(5)

yourAnswerToTheQuestion