Повреждение данных при чтении вывода H.264 в реальном времени из AVAssetWriter

используя некоторые приемы, чтобы попытаться прочитать необработанный вывод AVAssetWriter во время его записи на диск. Когда я собираю отдельные файлы, объединяя их, результирующий файл имеет такое же точное число байтов, что и AVAssetWriter 'выходной файл. Однако повторно собранный файл не будет воспроизводиться в QuickTime и не будет проанализирован FFmpeg, поскольку существует повреждение данных. Несколько байтов здесь и там были изменены, что сделало полученный файл непригодным для использования. Я предполагаю, что это происходит на границе EOF каждого чтения, но это нет постоянная коррупция.

Я планирую в конечном итоге использовать код, подобный этому, для анализа отдельных блоков NAL H.264 из кодера для их пакетирования и отправки по RTP, однако, если я смогу 'Я не могу доверять данным, считываемым с диска, возможно, мне придется использовать другое решение.

Есть ли объяснение / исправление для этого повреждения данных? И есть ли какие-либо другие ресурсы / ссылки, которые вы нашли о том, как анализировать блоки NAL для пакетирования по RTP?

Полный код здесь:AVAppleEncoder.m

// Modified from
// http://www.davidhamrick.com/2011/10/13/Monitoring-Files-With-GCD-Being-Edited-With-A-Text-Editor.html
- (void)watchOutputFileHandle
{
    dispatch_queue_t queue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
    int fildes = open([[movieURL path] UTF8String], O_EVTONLY);

    source = dispatch_source_create(DISPATCH_SOURCE_TYPE_VNODE,fildes,
                                                              DISPATCH_VNODE_DELETE | DISPATCH_VNODE_WRITE | DISPATCH_VNODE_EXTEND | DISPATCH_VNODE_ATTRIB | DISPATCH_VNODE_LINK | DISPATCH_VNODE_RENAME | DISPATCH_VNODE_REVOKE,
                                                              queue);
    dispatch_source_set_event_handler(source, ^
                                      {
                                          unsigned long flags = dispatch_source_get_data(source);
                                          if(flags & DISPATCH_VNODE_DELETE)
                                          {
                                              dispatch_source_cancel(source);
                                              //[blockSelf watchStyleSheet:path];
                                          }
                                          if(flags & DISPATCH_VNODE_EXTEND)
                                          {
                                              //NSLog(@"File size changed");
                                              NSError *error = nil;
                                              NSFileHandle *fileHandle = [NSFileHandle fileHandleForReadingFromURL:movieURL error:&error];
                                              if (error) {
                                                  [self showError:error];
                                              }
                                              [fileHandle seekToFileOffset:fileOffset];
                                              NSData *newData = [fileHandle readDataToEndOfFile];
                                              if ([newData length] > 0) {
                                                  NSLog(@"newData (%lld): %d bytes", fileOffset, [newData length]);
                                                  NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
                                                  NSString *basePath = ([paths count] > 0) ? [paths objectAtIndex:0] : nil;
                                                  NSString *movieName = [NSString stringWithFormat:@"%d.%lld.%d.mp4", fileNumber, fileOffset, [newData length]];
                                                  NSString *path = [NSString stringWithFormat:@"%@/%@", basePath, movieName];
                                                  [newData writeToFile:path atomically:NO];
                                                  fileNumber++;
                                                  fileOffset = [fileHandle offsetInFile];
                                              }
                                          }
                                      });
    dispatch_source_set_cancel_handler(source, ^(void) 
                                       {
                                           close(fildes);
                                       });
    dispatch_resume(source);
}

Вот несколько похожих вопросов, которые я нашел, но неТ точно ответить на мой вопрос:

Получить PTS из исходного H264 mdat, сгенерированного iOS AVAssetWriterпотоковое видео с iPhoneРазбор NAL-блоков h.264 из файла MOV QuickTimeПотоковое аудио / видео в реальном времени с iPhone на другое устройство (браузер или iPhone)

Когда я в конце концов пойму это, я выпущу библиотеку с открытым исходным кодом, чтобы помочь людям, которые пытаются сделать это в будущем.

Спасибо!

Обновить: Коррупция неэто происходит на границе EOF. Кажется, что части файла переписаны послеfinishWriting называется. Этот первый файл был разделен на 4 КБ, поэтому область измениласьt где-нибудь около границы EOF. Кажется, поврежден возле нового "Moov» элементы, а также, когдаmovieFragmentInterval включен.

 Правильный файл слева, сломанный файл справа.

 Michelle Cannon01 нояб. 2012 г., 15:57
Не уверен, что вы пытаетесь сделать здесь, вы просто пытаетесь воспроизвести файл assetWriter, создаваемый по мере его кэширования, я думаю, что есть более простые способы сделать это.
 Chris Ballinger01 нояб. 2012 г., 19:09
Нет яm планирует либо синтаксический анализ файла и извлечение отдельных блоков NAL H.264 для пакетирования и отправки по RTP, либо отправку частей файла в процессе его записи для объединения на сервере.

Ответы на вопрос(2)

который АКТИВНО записывается на iOS, вы ДОЛЖНЫ проверить упомянутые 4 байта на наличие изменений и переписать эти четыре байта, затем проверить наличие дополнительных данных в файле и отправить дополнительные данные. Затем, когда закончите, обрежьте файл до размера записанного файла.

Очевидно, это зависит от того, куда вы отправляете файл. Я использую отправку (смещение, количество байтов) получателю. Вот и отправляюДополнительная информация", "больше дополнительных данных, ..., новые данные в (24,4), "больше дополнительных данных ".

Обычно iOS записывает 4-байтовую запись (размер раздела данных), когда файл собирается закрыться (то есть после последней записи на носитель). (см. информацию о "Быстрые атомы "). К сожалению, это также означает, что файл MOV не может быть воспроизведен до тех пор, пока запись не будет завершена (и дескрипторы фильма записаны в конце файла).

пока читайнаписано подход в пользу ручного чанкинга, где я называюfinishWriting каждые 5 секунд в фоновом потоке. Я смог отбросить незначительное количество кадров, используя методПервоначально описано здесь:

- (void) segmentRecording:(NSTimer*)timer {
    AVAssetWriter *tempAssetWriter = self.assetWriter;
    AVAssetWriterInput *tempAudioEncoder = self.audioEncoder;
    AVAssetWriterInput *tempVideoEncoder = self.videoEncoder;
    self.assetWriter = queuedAssetWriter;
    self.audioEncoder = queuedAudioEncoder;
    self.videoEncoder = queuedVideoEncoder;
    //NSLog(@"Switching encoders");

    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
        [tempAudioEncoder markAsFinished];
        [tempVideoEncoder markAsFinished];
        if (tempAssetWriter.status == AVAssetWriterStatusWriting) {
            if(![tempAssetWriter finishWriting]) {
                [self showError:[tempAssetWriter error]];
            }
        }
        if (self.readyToRecordAudio && self.readyToRecordVideo) {
            NSError *error = nil;
            self.queuedAssetWriter = [[AVAssetWriter alloc] initWithURL:[self newMovieURL] fileType:(NSString *)kUTTypeMPEG4 error:&error];
            if (error) {
                [self showError:error];
            }
            self.queuedVideoEncoder = [self setupVideoEncoderWithAssetWriter:self.queuedAssetWriter formatDescription:videoFormatDescription bitsPerSecond:videoBPS];
            self.queuedAudioEncoder = [self setupAudioEncoderWithAssetWriter:self.queuedAssetWriter formatDescription:audioFormatDescription bitsPerSecond:audioBPS];
            //NSLog(@"Encoder switch finished");

        }
    });
}

Полный исходный код:https://github.com/chrisballinger/FFmpeg-iOS-Encoder/blob/master/AVSegmentingAppleEncoder.mI»

 sudo28 авг. 2014 г., 23:13
Спасибо, но как мне подключить вход камеры к AVAssetWriter?
 Dave Durbin07 мая 2014 г., 16:37
Я работаю над аналогичной проблемой и использую пару AVAssetWriters для решения этой проблемы. Я считаю, что аудио и видео дорожки в отдельных MP4 имеют разную длину, что приводит к серьезной проблеме с синхронизацией после нескольких объединений. Вам удалось решить это?

Ваш ответ на вопрос