Usando a webcam para rastrear gestos com as mãos

Eu queria desenvolver um programa que use a webcam para rastrear quatro cores e que esteja no meu dedo indicador e polegar de ambas as mãos e de acordo com os gestos da minha mão, o computador interpretará esses gestos e executará um comando. Por exemplo, se eu tiver um site aberto, tudo o que preciso fazer é apertar com os dedos e a página da Web será ampliada. Eu queria o conselho da comunidade stackoverflow sobre onde começar e se alguém tem algum conselho para mim. Desde já, obrigado.

questionAnswers(4)

yourAnswerToTheQuestion