Eu estou procurando o caminho mais rápido para tirar um quadro de imagem recebido do decodificador MediaCodec e desenhá-lo para a tela do dispositivo Android. As restrições e explicações importantes são:

Não é possível usar o MediaPlayer. Nenhum aplicativo intermediário permitido.

Deve desenhar os quadros de saída do decodificador MediaCodec na tela o mais rápido possível (minimizar a latência).

Os formatos de saída do decodificador disponíveis são os seguintes:
ColorFormat [0] 0x00000013 COLOR_FormatYUV420Planar
ColorFormat [1] 0x00000015 COLOR_FormatYUV420SemiPlanar
ColorFormat [2] 0x7F000001 OMX_SEC_COLOR_FormatNV12TPhysicalAddress
ColorFormat [3] 0x7FC00002 OMX_SEC_COLOR_FormatNV12Tiled

A resolução de vídeo e, portanto, a resolução de cada quadro de saída, é de 960x720.

A plataforma de destino é o Galaxy Note II e a abordagem pode ser específica para essa plataforma (por exemplo, aproveitar a funcionalidade de hardware disponível). Isso não precisa funcionar em outras plataformas ou ser uma solução genérica.

Uma abordagem que leve menos de 66ms seria boa. Menos de 33ms seria ótimo. Minha abordagem atual leva 80-90ms, o que é uma merda. (Não vou me incomodar em descrever isso, pois não quero distorcer as respostas em nenhuma direção específica.)