Resultados da pesquisa a pedido "spark-structured-streaming"
Como ler registros no formato JSON do Kafka usando o Structured Streaming?
Estou tentando usarabordagem de streaming estruturado [http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html] usando o Spark-Streaming com base na API DataFrame / Dataset para carregar um fluxo de dados do Kafka. Eu ...
Como gravar o conjunto de dados de streaming no Kafka?
Estou tentando enriquecer os dados dos tópicos. Portanto, leia do Kafka e volte para o Kafka usando o streaming estruturado do Spark. val ds = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", bootstrapServers) ...
Por que o formato ("kafka") falha com "Falha ao localizar a fonte de dados: kafka". (Mesmo com o uber-jar)?
Eu uso o HDP-2.6.3.0 com o pacote Spark2 2.2.0. Estou tentando escrever um consumidor Kafka, usando a API de fluxo estruturado, mas estou recebendo o seguinte erro após enviar o trabalho ao cluster: Exception in thread "main" ...
Como usar o modo de saída de atualização com o formato FileFormat?
Estou tentando usar o streaming estruturado do spark no modo de saída de atualização para gravar em um arquivo. eu encontreieste ...
Spark Streaming Estruturado usando soquetes, defina SCHEMA, Exibir DATAFRAME no console
Como posso definir um esquema para um streamingDataFrame no PySpark. from pyspark.sql import SparkSession from pyspark.sql.functions import explode from pyspark.sql.functions import split # Import data types from pyspark.sql.types import * spark ...
Como evitar arquivos vazios ao escrever arquivos em parquet?
Estou lendo na fila Kafka usando o fluxo de estrutura do Spark. Depois de ler o Kafka, estou aplicando o filtro no dataframe. Esse quadro de dados filtrados que estou dizendo em um arquivo de parquet., Isso está gerando muitos arquivos de parquet ...
Spark Structured Streaming com fonte RabbitMQ
Estou tentando escrever um receptor personalizado paraStructured Streaming que consumirá mensagens deRabbitMQ. Spark lançado recentemente [https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html]API DataSource V2, o que parece ...
Spark kafka de fluxo estruturado converter JSON sem esquema (inferir esquema)
Eu li o Spark Structured Streaming não suporta inferência de esquema para ler mensagens Kafka como JSON. Existe uma maneira de recuperar o esquema da mesma forma que o Spark Streaming: val dataFrame = spark.read.json(rdd.map(_.value())) ...
Agregação de fluxo estruturado Spark para dados antigos de registro de data e hora
Estou tentando agregar a contagem de registros a cada 10 segundos usando o streaming estruturado para os seguintes dados Kafka recebidos { "ts2" : "2018/05/01 00:02:50.041", "serviceGroupId" : "123", "userId" : "avv-0", "stream" : "", ...
Como obter a saída do console streaming streaming no Zeppelin?
Estou lutando para conseguir oconsole pia trabalhando comStreaming estruturado do PySpark [https://spark.apache.org/docs/2.2.0/structured-streaming-programming-guide.html] quando executado a partir de Zeppelin. Basicamente, não estou vendo ...