Capturar imágenes de pantalla / monitor, enviar entrada de teclado en Linux
Necesito procesar imágenes enviadas a la pantalla de video de mi computadora portátil, y necesito enviar la entrada del teclado a mi sistema Linux, usando un programa C ++ o shell.
Mi objetivo es procesar imágenes que son parte de un juego de FPS, luego tomar medidas dentro de ese juego (de ahí la entrada del teclado) en función de estas imágenes. En lugar de tratar de entender (si es posible) cómo interactuar con el juego X o Y, usando alguna API, pensé que esta es la forma más rápida de interactuar con cualquier juego, secuestrando la entrada y salida de Linux de alguna manera.
¿Hay alguna forma de hacerlo sin ningún kernel o pirateo de controladores de dispositivo? Utilicé recordmydesktop para grabar mi escritorio como video antes, creo que podría hackear su código e intentar hacer ingeniería inversa a algo de eso. ¿Alguna otra idea? Estoy en Ubuntu 11.