Resultados da pesquisa a pedido "spark-streaming"
como definir e obter variáveis estáticas do spark?
Eu tenho uma classe como esta: public class Test { private static String name; public static String getName() { return name; } public static void setName(String name) { Test.name = name; } public static void print() { System.out.println(name); } ...
Partição personalizada do JavaDStreamPairRDD
No Spark streaming, qual é a maneira recomendada de implementar um particionador personalizado no DStreams? Usei o JavaPairRDD.partitionBy (Partitioner) no modo em lote, mas não encontrei um equivalente no JavaDStreamPairRDD. obrigado
Compartilhamento de dados de streaming Spark entre lotes
O streaming Spark processa os dados em micro lotes. Cada dado de intervalo é processado em paralelo usando RDDs sem compartilhamento de dados entre cada intervalo. Mas meu caso de uso precisa compartilhar os dados entre intervalos. Considere ...
Deserializador Avro Kafka do Spark Python
Eu criei um fluxo kafka em um aplicativo python spark e posso analisar qualquer texto que o atravesse. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Quero alterar isso para poder analisar mensagens ...
Como filtrar o dstream usando a operação de transformação e o RDD externo?
eu useitransform método em um caso de uso semelhante ao descrito emOperação de transformaçãoSeção deTransformações no DStreams [https://spark.apache.org/docs/1.4.0/streaming-programming-guide.html#transformations-on-dstreams] : spamInfoRDD = ...
Spark Streaming em um diretório S3
Portanto, tenho milhares de eventos sendo transmitidos pelo Amazon Kinesis para o SQS e depois despejados em um diretório S3. A cada 10 minutos, um novo arquivo de texto é criado para despejar os dados do Kinesis no S3. Gostaria de configurar o ...
adicionando filtro de idioma ao twitter popularhashtags - scala
Eu sou novo no Spark e Scala. Executei as tags hash populares do trabalho de streaming Spark no Twitter. Adicionei um filtro para algumas palavras e consegui filtrar os tweets: val filter = Array("spark", "Big Data") val stream ...
Interromper o contexto de streaming no Spark Streaming após um período de tempo
Ao criar um aplicativo que recebe DStreams do Twitter, a única maneira de interromper o contexto de Streaming é interrompendo a execução. Gostaria de saber se existe uma maneira de definir um horário e finalizar o soquete de streaming sem parar o ...
O que significa "streaming" no Apache Spark e no Apache Flink?
Como eu fuiApache Spark Streaming [https://spark.apache.org/streaming/]Site, vi uma frase: O Spark Streaming facilita a criação de aplicativos de streaming escaláveis e tolerantes a falhas. E emApache Flink [https://flink.apache.org/]Website, ...
Processar o Spark Streaming rdd e armazenar em um único arquivo HDFS
Estou usando o Kafka Spark Streaming para obter dados de streaming. val lines = KafkaUtils.createDirectStream[Array[Byte], String, DefaultDecoder, StringDecoder](ssc, kafkaConf, Set(topic)).map(_._2)Estou usando este DStream e processando ...