Eu tenho um vídeo que tem frames como mostrado na minha imagem anterior nesta questão.

Como podemos detectar pontos de uma imagem com uma determinada cor nesses pontos

Eu detectei esses marcadores e os numorei conforme mostrado na imagem abaixo:

Meu problema é o seguinte. Depois de ter detectado marcadores em um quadro, preciso detectá-los em outro quadro e descobrir quanto o marcador foi movido de seu local anterior. No entanto, ao usar meu código novamente no segundo quadro, às vezes, em alguns quadros, obtenho uma numeração diferente entre marcadores e, portanto, não consigo rastrear marcadores de uma imagem para outra. Também detectar os marcadores em cada imagem torna-se uma tarefa complicada e leva muito tempo para um vídeo com cerca de 200 quadros.

Como posso rastrear esses marcadores em imagens para saber quanto um marcador em particular moveu entre os quadros ou simplesmente como posso numerar esses marcadores de tal forma que a numeração nunca mude, o marcador numerado permanece como número de marcador 60 do quadro 1 para o quadro 200

Como uma questão paralela existe uma maneira de realmente diminuir o tempo de processamento de tal forma que eu não tenho que detectar o rosto e os olhos em cada quadro (Por favor, consulte a imagem dada no link na minha pergunta anterior, torna as coisas mais claras ).