Problemas de confiabilidade com o Checkpointing / WAL no Spark Streaming 1.6.0

DescriçãoTemos um aplicativo Spark Streaming 1.5.2 no Scala que lê eventos JSON de um Kinesis Stream, faz algumas transformações / agregações e grava os resultados em diferentes prefixos S3. O intervalo atual do lote é de 60 segundos. Temos ...