É possível, e suportado, usar a API de decodificação h.264 acelerada por hardware do iOS para decodificar um arquivo de vídeo local (não transmitido) e, em seguida, compor outros objetos em cima dele?

Eu gostaria de fazer um aplicativo que envolve desenhar objetos gráficos na frente de um vídeo e usar o timer de reprodução para sincronizar o que estou desenhando em cima, para o que está sendo reproduzido no vídeo. Então, com base nas ações do usuário, mude o que estou desenhando no topo (mas não no vídeo)

Vindo do DirectX, OpenGL e OpenGL ES para Android, estou imaginando algo como renderizar o vídeo em uma textura e usar essa textura para desenhar um quad de tela inteira, depois usar outros sprites para desenhar o restante dos objetos; ou talvez escrever um filtro intermediário logo antes do renderizador, para que eu possa manipular os quadros de saída individuais e desenhar minhas coisas; ou talvez desenhar para uma camada 2D no topo do vídeo.

Parece que a AV Foundation ou Core Mediamaio me ajude a fazer o que estou fazendo, mas antes de investigar os detalhes, gostaria de saber se é possível fazer o que quero e quais são meus principais caminhos para abordar o problema.

Por favor, abster-se de "isso é muito avançado para você, tente oi primeiro mundo" respostas. Eu sei das minhas coisas, e só quero saber se o que eu quero fazer é possível (e mais importante, suportado, para que o aplicativo não seja rejeitado), antes de eu estudar os detalhes sozinho.

editar:

Eu não sou conhecedor do desenvolvimento iOS, mas profissionalmente faço DirectX, OpenGL e OpenGL ES para Android. Estou pensando em criar uma versão para iOS de um aplicativo para Android que tenho atualmente e só quero saber se isso é possível. Se assim for, eu tenho tempo suficiente para iniciar o desenvolvimento do iOS a partir do zero, até fazer o que eu quero fazer. Se não for possível, então não vou investir tempo estudando toda a plataforma neste momento.

Portanto, esta é uma questão de viabilidade técnica. Não estou solicitando código. Eu estou procurando respostas do tipo "Sim, você pode fazer isso. Basta usar A e B, use C para renderizar D e desenhar suas coisas com E" ou "Não, você não pode. A decodificação acelerada por hardware é não está disponível para aplicativos de terceiros "(que é o que um amigo me disse). Apenas isso, e eu estarei a caminho.

Eu li a visão geral das tecnologias de vídeo na página 32 doVisão geral da tecnologia ios. Ele praticamente diz que eu posso usar o Media Player para a funcionalidade de reprodução mais simples (não o que eu estou procurando), o UIKit para incorporar vídeos com um pouco mais de controle sobre a incorporação, mas não sobre a reprodução real (não o que eu Estou procurando por), AVFoundation para mais controle sobre a reprodução (talvez o que eu preciso, mas a maioria dos recursos que eu encontro falar online sobre como usar a câmera), ou Core Media para ter controle de baixo nível completo sobre vídeo (provavelmente o que eu precisa, masextremamente mal documentado, e ainda mais falta de recursos na reprodução do que mesmo AVFoundation).

Eu estou preocupado que eu possa dedicar os próximos seis meses para aprender programação iOS em tempo integral, apenas para descobrir no final que a API relevante não está disponível para desenvolvedores de terceiros, e o que eu quero fazer é inaceitável para a implantação da loja iTunes. Isso é o que meu amigo me disse, mas não consigo encontrar nada de relevante nas diretrizes de desenvolvimento de aplicativos. Por isso, vim aqui para perguntar às pessoas que têm mais experiência nesta área, seja ou não o que eu quero fazer é possível. Não mais.

Eu considero isso uma questão válida de alto nível, que pode ser mal compreendida como uma pergunta do tipo "eu não fiz-meu-trabalho-de-lição-de-casa-de-dar-me-o-código". Se meu julgamento aqui estiver equivocado, sinta-se à vontade para excluir ou rejeitar essa pergunta para o desprezo de seu coração.