Resultados da pesquisa a pedido "hadoop"
Matriz de saída MapReduceWritable
Estou tentando obter uma saída de um ArrayWritable em um simples MapReduce-Task. Encontrei algumas perguntas com um problema semelhante, mas não consigo resolver o problema no meu próprio código. Então, estou ansioso por sua ajuda. ...
o beeline não consegue se conectar ao hiveserver2
Eu tenho uma instância CDH 5.3. Inicio o hive-server2 iniciando primeiro o hive-metastore e, em seguida, o hive-server na linha de comando. Depois disso, uso o beeline para conectar-me ao meu hive-server2, mas aparentemente ele não ...
Transmissão Spark: HDFS
Não consigo fazer meu trabalho do Spark transmitir arquivos "antigos" do HDFS.Se meu trabalho do Spark estiver desativado por algum motivo (por exemplo, demonstração, implantação), mas a gravação / migração para o diretório HDFS for contínua, eu ...
Avro vs. Parquet
Estou planejando usar um dos formatos de arquivo hadoop para o meu projeto relacionado ao hadoop. EuCompreendoparquet é eficiente para consultas baseadas em colunas e avro para varredura completa ou quando precisamos de todos os dados das ...
Por que o Hadoop relata "dirs locais e dirs de log de nó não íntegro são ruins"?
Estou tentando configurar um cluster Hadoop 2.6.0 de nó único no meu PC. Ao visitarhttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Acho que meu nó está listado como um "nó não íntegro". No relatório de integridade, ele ...
O comando hdfs foi descontinuado no hadoop
Como estou seguindo o procedimento ...
Chave do tipo de objeto no mapeador hadoop
Novo no hadoop e tentando entender o código de exemplo mapreduce wordcount de aqui [http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html] . O mapeador da documentação é ...
Obtendo 'verificando alterações no flume.conf' em um loop
Estou usando o Apache Flume 1.4.0 para coletar arquivos de log (auth.log) e armazenar no HDFS (Hadoop 2.6.0). O comando usado é: bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agentoflume.confO arquivo ...
Como verificar se o ZooKeeper está sendo executado ou ativado no prompt de comando?
Eu exploro algumas opções para configurar o kafka e sabia que o tratador deve estar instalado e funcionando para iniciar um kafka. Gostaria de saber como posso encontrar o abaixo. 1) nome do host e porta da minha instância do zookeeper --- ...
Problema ao conectar kafka de fora
Estou usando hortonwork Sandbox para servidor kafka tentando conectar kafka do eclipse com código java. Use esta configuração para conectar-se ao produtor e enviar a ...