Resultados da pesquisa a pedido "spark-streaming"
Operação da janela de transmissão do Spark
A seguir, é apresentado um código simples para obter a contagem de palavras em um tamanho de janela de 30 segundos e um tamanho de slide de 10 segundos. import org.apache.spark.SparkConf import org.apache.spark.streaming._ ...
Evitando a perda de dados quando consumidores lentos pressionam a contrapressão no processamento do fluxo (spark, aws)
Eu sou novo no processamento de fluxo distribuído (Spark). Eu li alguns tutoriais / exemplos que abordam como a contrapressão resulta no (s) produtor (es) diminuindo a velocidade em resposta a consumidores sobrecarregados. O exemplo clássico dado ...
SQL sobre Spark Streaming
Este é o código para executar consultas SQL simples no Spark Streaming. import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.sql.SQLContext import ...
Spark streaming StreamingContext.start () - Erro ao iniciar o receptor 0
Eu tenho um projeto que está usando o spark streaming e estou executando-o com 'spark-submit', mas estou atingindo este erro: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
Spark Streaming: StreamingContext não lê arquivos de dados
Sou novo no Spark Streaming e estou tentando começar usando o Spark-shell. Supondo que eu tenha um diretório chamado "dataTest" colocado no diretório raiz do spark-1.2.0-bin-hadoop2.4. O código simples que eu quero testar no shell é (depois de ...
spark ssc.textFileStream não está transmitindo nenhum arquivo do diretório
Estou tentando executar o código abaixo usando eclipse (com maven conf) com 2 worker e cada um tem 2 núcleos ou também tentei com o envio de faísca. public class StreamingWorkCount implements Serializable { public static void main(String[] args) ...
Como criar vários SparkContexts em um console
Eu quero criar mais de um SparkContext em um console. De acordo com um post no lista de discussão [http://apache-spark-user-list.1001560.n3.nabble.com/Multiple-SparkContexts-in-same-Driver-JVM-td20037.html#a21454] , Preciso fazer SparkConf.set ...
processamento de log em tempo real usando o apache spark streaming
Quero criar um sistema onde possa ler logs em tempo real e usar o apache spark para processá-los. Estou confuso se devo usar algo como kafka ou flume para passar os logs para iniciar o fluxo ou devo passar os logs usando soquetes. Passei por um ...
Spark usando python: como resolver o estágio x contém uma tarefa de tamanho muito grande (xxx KB). O tamanho máximo recomendado da tarefa é 100 KB
Acabei de criar uma lista python derange(1,100000). Usando o SparkContext, execute as seguintes etapas: a = sc.parallelize([i for i in range(1, 100000)]) b = sc.parallelize([i for i in range(1, 100000)]) c = a.zip(b) >>> [(1, 1), (2, 2), -----] ...
Transmissão Spark: HDFS
Não consigo fazer meu trabalho do Spark transmitir arquivos "antigos" do HDFS.Se meu trabalho do Spark estiver desativado por algum motivo (por exemplo, demonstração, implantação), mas a gravação / migração para o diretório HDFS for contínua, eu ...