Capturando imagens do monitor / monitor, enviando entrada de teclado no Linux
Preciso processar imagens enviadas para a tela de vídeo do meu laptop e enviar entrada de teclado para o meu sistema Linux, usando um programa C ++ ou shel
Meu objetivo é processar imagens que fazem parte de um jogo FPS e, em seguida, agir dentro desse jogo (daí a entrada do teclado) com base nessas imagens. Em vez de tentar entender (se é que é possível) como fazer interface com o jogo X ou Y, usando alguma API, achei que essa é a maneira mais rápida de fazer interface com qualquer jogo, seqüestrando a entrada e saída do Linux de alguma form
Existe alguma maneira de fazer isso sem nenhum kernel ou driver de dispositivo invadido? Eu usei o recordmydesktop para gravar minha área de trabalho como um vídeo antes, acho que poderia invadir o código e tentar fazer engenharia reversa de algo a partir disso. Alguma outra ideia? Estou no Ubuntu 11.