¿La forma más rápida de dibujar un cuadro de video decodificado de MediaCodec en pantalla?

Estoy buscando la manera más rápida de tomar un cuadro de imagen recibido del decodificador MediaCodec y dibujarlo en la pantalla del dispositivo Android. Las restricciones y explicaciones importantes son:

No se puede utilizar MediaPlayer. No se permite ninguna aplicación intermedia.

Debe dibujar los cuadros de salida del decodificador MediaCodec a la pantalla lo más rápido posible (minimizar la latencia).

Los formatos de salida del decodificador disponibles son los siguientes:
ColorFormat [0] 0x00000013 COLOR_FormatYUV420Planar
ColorFormat [1] 0x00000015 COLOR_FormatYUV420SemiPlanar
ColorFormat [2] 0x7F000001 OMX_SEC_COLOR_FormatNV12TPhysicalAddress
ColorFormat [3] 0x7FC00002 OMX_SEC_COLOR_FormatNV12Tiled

La resolución de video, y por lo tanto la resolución de cada cuadro de salida, es de 960x720.

La plataforma de destino es Galaxy Note II y el enfoque puede ser específico para esa plataforma (por ejemplo, aprovechar la funcionalidad de hardware disponible). Esto no necesita trabajar en otras plataformas o ser una solución genérica.

Un acercamiento que tome menos de 66ms sería bueno. Menos de 33ms sería genial. Mi enfoque actual toma 80-90ms, lo que apesta. (No me molestaré en describirlo porque no quiero desviar las respuestas en ninguna dirección en particular).

Respuestas a la pregunta(1)

Su respuesta a la pregunta