Resultados da pesquisa a pedido "spark-streaming"
O Spark Strutured Streaming converte automaticamente o carimbo de data / hora para a hora local
Eu tenho meu carimbo de data e hora no UTC e ISO8601, mas usando o Streaming estruturado, ele é convertido automaticamente no horário local. Existe uma maneira de parar essa conversão? Eu gostaria de tê-lo no UTC. Estou lendo dados json do Kafka ...
O que o Spark recupera os dados de um nó com falha?
Suponha que tenhamos um RDD, que está sendo usado várias vezes. Portanto, para salvar os cálculos repetidamente, persistimos esse RDD usando o método rdd.persist (). Portanto, quando persistimos esse RDD, os nós que computam o RDD armazenam ...
Não é possível manter o DStream para uso no próximo lote
JavaRDD<String> history_ = sc.emptyRDD(); java.util.Queue<JavaRDD<String> > queue = new LinkedList<JavaRDD<String>>(); queue.add(history_); JavaDStream<String> history_dstream = ssc.queueStream(queue); JavaPairDStream<String,ArrayList<String>> ...
Acessando a coleção de DStreams
Estou tentando acessar uma coleção de DStreams filtrados obtidos como na solução para esta pergunta:Spark Streaming - Melhor maneira de dividir o fluxo de entrada com base no filtro ...
Erro de teste do SBT: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
Exceção Getting Below, quando tentei realizar testes de unidade para o meu código de fluxo spark no Windows SBT usando o scalatest. sbt testOnly<<ClassName>> * * * * * * 2018-06-18 02:39:00 ERRO Executor: 91 - Exceção na tarefa 1.0 no estágio ...
Qual é a diferença entre um sistema “stateful” e “stateless”?
Apache Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf]alega que seus operadores (nós) são "sem estado". Isso permite que a arquitetura do Spark use protocolos mais simples para coisas como recuperação, ...
Converter entre o conjunto de dados de streaming e o DStream
É possível converter um streamingo.a.s.sql.Dataset paraDStream? Se sim, como? Eu sei como convertê-lo em RDD, mas está em um contexto de streaming.
EsHadoopIllegalArgumentException: Não é possível detectar o exemplo Spark-ElasticSearch da versão ES
Estou tentando executar uma gravação simples de dados no exemplo do ElasticSearch. No entanto, continuo recebendo este erro: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster ...
Problema de dependência do Scala Fat Jar enquanto o Job envia
Eu escrevi um fluxo kafka simples usando o Scala. Está funcionando bem no local. Tomei frasco de gordura e submetido em cluster scala. Estou recebendo erro de classe não encontrado após enviar o trabalho. se eu extrair o frasco de gordura, ele ...
Contagem de palavras acumuladas do Streaming Spark
Este é um programa de streaming de faísca escrito em scala. Conta o número de palavras de um soquete a cada 1 segundo. O resultado seria a contagem de palavras, por exemplo, a contagem de palavras do tempo de 0 a 1, e a contagem de palavras do ...