Bem, para começar, devo admitir que é uma pergunta bastante longa e não consegui encontrar possíveis soluções através do Google

Tenho um vídeo no qual um invasor tenta se intrometer no outro lado da cerc

Eu posso rastrear o invasor, mas quando ele estiver do outro lado, eu posso salvar a duração da invasão em um arquivo. A área de intrusão seria algo como isto

Pensei nos seguintes passos:

I. Reading a video file;
II. Getting the very first frame displayed,
  1. Pausing the video playback;
  2. Manually drawing intrusion area on that frame with a mouse; (making draw and reset buttons as events maybe)
  3. Replaying the video again
III. Waiting for the intruder to appear, etc. (III part is not important)

té agora, eu fiz o I e II (bobo, eu sei) e devo realizar 1,2,3 subparte da etapa I

import cv2

file  = "intrusion.mp4"
capture = cv2.VideoCapture(file)

ret, firstFrame= capture.read()

while True:
    cv2.imshow("First Frame", firstFrame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cv2.destroyAllWindows()

Espero que você possa dar seus conselhos e instruções!

PS: referir quaisquer postagens, blogs ou links relacionados, estou animado para descobrir