Como configurar uma fonte HTTP para testar a configuração do Flume?

Cloudera 5.4.2: o tamanho do bloco Avro é inválido ou muito grande ao usar o Flume e o Twitter

Há um pequeno problema quando tento o Cloudera 5.4.2. Baseie-se neste artigo Apache Flume - Buscando dados do ...

processamento de log em tempo real usando o apache spark streaming

Quero criar um sistema onde possa ler logs em tempo real e usar o apache spark para processá-los. Estou confuso se devo usar algo como kafka ou flume para passar os logs para iniciar o fluxo ou devo passar os logs usando soquetes. Passei por um ...

Usando um HDFS Sink e rollInterval no Flume-ng para agrupar 90 segundos de informações de log

Filtrando arquivos de log no Flume usando interceptores

Flume para migrar dados do MySQL para o Hadoop

Como instalar e configurar o flume do apache?

Sou novo no Apache Flume. Eu preciso instalar o canal sobre o ambiente de cluster HDFS. Eu fiz o Google, todos estão dizendo usando a distribuição cloudera m...

O colapso do hdfs do flume do apache pode aceitar o caminho dinâmico para escrever?

O coletor Flume HDFS continua rolando arquivos pequenos

Estou tentando transmitir dados do twitter em hdfs usando o flume e isso: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] O que quer que eu tente aqui, ele continua criando arquivos em HDFS com ...

Como usar o seletor regex_extractor e o interceptador de multiplexação juntos no flume?

Estou testando o flume para carregar dados no hHase e pensando no carregamento de dados paralelos usando o seletor e inteceptor do flume, devido à diferença ...