Codificando H.264 da câmera com o Android MediaCodec
Estou tentando fazer isso funcionar no Android 4.1 (usando um tablet Asus Transformer atualizado). Graças aA resposta de Alex à minha pergunta anterior, Eu já consegui gravar alguns dados brutos do H.264 em um arquivo, mas esse arquivo só pode ser reproduzido comffplay -f h264
e parece que perdeu toda a informação relativa ao framerate (reprodução extremamente rápida). Além disso, o espaço de cores parece incorreto (atm usando o padrão da câmera no lado do codificador).
public class AvcEncoder {
private MediaCodec mediaCodec;
private BufferedOutputStream outputStream;
public AvcEncoder() {
File f = new File(Environment.getExternalStorageDirectory(), "Download/video_encoded.264");
touch (f);
try {
outputStream = new BufferedOutputStream(new FileOutputStream(f));
Log.i("AvcEncoder", "outputStream initialized");
} catch (Exception e){
e.printStackTrace();
}
mediaCodec = MediaCodec.createEncoderByType("video/avc");
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 320, 240);
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 125000);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar);
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mediaCodec.start();
}
public void close() {
try {
mediaCodec.stop();
mediaCodec.release();
outputStream.flush();
outputStream.close();
} catch (Exception e){
e.printStackTrace();
}
}
// called from Camera.setPreviewCallbackWithBuffer(...) in other class
public void offerEncoder(byte[] input) {
try {
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers();
int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(input);
mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, 0, 0);
}
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0);
while (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
byte[] outData = new byte[bufferInfo.size];
outputBuffer.get(outData);
outputStream.write(outData, 0, outData.length);
Log.i("AvcEncoder", outData.length + " bytes written");
mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
}
} catch (Throwable t) {
t.printStackTrace();
}
}
Alterar o tipo de codificador para "video / mp4" aparentemente resolve o problema de framerate, mas como o objetivo principal é fazer um serviço de streaming, esta não é uma boa solução.
Estou ciente de que deixei cair alguns dos códigos de Alex, considerando o SPS e o PPS NALU, mas eu esperava que isso não fosse necessário, já que a informação também vinha deoutData
e eu assumi que o codificador iria formatar isso corretamente. Se este não for o caso, como devo organizar os diferentes tipos de NALU em meu arquivo / fluxo?
Então, o que estou perdendo aqui para fazer um fluxo H.264 válido e funcional? E quais configurações devo usar para fazer uma correspondência entre o espaço de cores da câmera e o espaço de cores do codificador?
Tenho a sensação de que esta é mais uma questão relacionada ao H.264 do que um tópico do Android / MediaCodec. Ou ainda não estou usando a API MediaCodec corretamente?
Desde já, obrigado.