Resultados da pesquisa a pedido "spark-streaming"
O streaming de faíscas funciona com "cp" e "mv"
Estou usando o spark streaming Meu programa lê continuamente fluxos de uma pasta hadoop. O problema é que, se eu copiar para minha pasta hadoop (hadoop fs -copyFromLocal), o trabalho do spark será iniciado, mas se eu mover (hadoop fs -mv / ...
obter tópico da mensagem kafka no spark
Em nosso trabalho de streaming de faísca, lemos mensagens em streaming de kafka. Para isso, usamos oKafkaUtils.createDirectStream API que retornaJavaPairInputDStreamfrom. As mensagens são lidas do kafka (de três tópicos - test1, test2, test3) ...
Utilize o esquema para converter mensagens AVRO com Spark em DataFrame
Existe uma maneira de usar um esquema para converter avro [/questions/tagged/avro] mensagens de kafka [/questions/tagged/kafka] comfaísc [/questions/tagged/spark] paraquadro de dado [/questions/tagged/dataframe]? O arquivo de esquema para ...
Converter colunas do quadro de dados Spark com uma matriz de objetos JSON em várias linhas
Tenho dados JSON de streaming, cuja estrutura pode ser descrita com a classe de caso abaixo case class Hello(A: String, B: Array[Map[String, String]])Os dados de amostra para o mesmo são os seguintes | A | B | ...