Resultados da pesquisa a pedido "hadoop"

1 a resposta

Matriz de saída MapReduceWritable

Estou tentando obter uma saída de um ArrayWritable em um simples MapReduce-Task. Encontrei algumas perguntas com um problema semelhante, mas não consigo resolver o problema no meu próprio código. Então, estou ansioso por sua ajuda. ...

7 a resposta

o beeline não consegue se conectar ao hiveserver2

Eu tenho uma instância CDH 5.3. Inicio o hive-server2 iniciando primeiro o hive-metastore e, em seguida, o hive-server na linha de comando. Depois disso, uso o beeline para conectar-me ao meu hive-server2, mas aparentemente ele não ...

3 a resposta

Transmissão Spark: HDFS

Não consigo fazer meu trabalho do Spark transmitir arquivos "antigos" do HDFS.Se meu trabalho do Spark estiver desativado por algum motivo (por exemplo, demonstração, implantação), mas a gravação / migração para o diretório HDFS for contínua, eu ...

7 a resposta

Avro vs. Parquet

Estou planejando usar um dos formatos de arquivo hadoop para o meu projeto relacionado ao hadoop. EuCompreendoparquet é eficiente para consultas baseadas em colunas e avro para varredura completa ou quando precisamos de todos os dados das ...

7 a resposta

Por que o Hadoop relata "dirs locais e dirs de log de nó não íntegro são ruins"?

Estou tentando configurar um cluster Hadoop 2.6.0 de nó único no meu PC. Ao visitarhttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Acho que meu nó está listado como um "nó não íntegro". No relatório de integridade, ele ...

1 a resposta

O comando hdfs foi descontinuado no hadoop

Como estou seguindo o procedimento ...

1 a resposta

Chave do tipo de objeto no mapeador hadoop

Novo no hadoop e tentando entender o código de exemplo mapreduce wordcount de aqui [http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html] . O mapeador da documentação é ...

1 a resposta

Obtendo 'verificando alterações no flume.conf' em um loop

Estou usando o Apache Flume 1.4.0 para coletar arquivos de log (auth.log) e armazenar no HDFS (Hadoop 2.6.0). O comando usado é: bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agentoflume.confO arquivo ...

7 a resposta

Como verificar se o ZooKeeper está sendo executado ou ativado no prompt de comando?

Eu exploro algumas opções para configurar o kafka e sabia que o tratador deve estar instalado e funcionando para iniciar um kafka. Gostaria de saber como posso encontrar o abaixo. 1) nome do host e porta da minha instância do zookeeper --- ...

2 a resposta

Problema ao conectar kafka de fora

Estou usando hortonwork Sandbox para servidor kafka tentando conectar kafka do eclipse com código java. Use esta configuração para conectar-se ao produtor e enviar a ...