Resultados da pesquisa a pedido "hadoop"
Como conectar-se a um metastore Hive programaticamente no SparkSQL?
Estou usando o HiveContext com SparkSQL e estou tentando conectar-me a um metastore remoto do Hive, a única maneira de definir o metastore do hive é através da inclusão do hive-site.xml no caminho de classe (ou copiando-o para / etc / spark / ...
Nó de nome, nó secundário e nó de verificação do Hadoop 2.0 para alta disponibilidade
Depois de ler o ApacheDocumentação do Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe uma pequena confusão na compreensão das responsabilidades do nó secundário e do nó do ponto de ...
A faísca do apache pode ser executada sem hadoop?
Existe alguma dependência entreFaíscaeHadoop? Caso contrário, há algum recurso que sentirei falta quando corroFaíscasemHadoop?
Reconhecimento da operação de gravação de dados do Hadoop 2.0
Eu tenho uma pequena consulta sobre gravações de dados hadoop Da documentação do Apache No caso comum, quando o fator de replicação é três, a política de posicionamento do HDFS é colocar uma réplica em um nó no rack local, outra em um nó em um ...
Para onde a estrutura do hadoop mapreduce envia minhas instruções System.out.print ()? (stdout)
Quero depurar um script mapreduce e, sem entrar em muitos problemas, tentei colocar algumas instruções de impressão no meu programa. Mas não consigo encontrá-los em nenhum dos registros.
Localizando o número total de linhas no arquivo distribuído hdfs usando a linha de comando
Estou trabalhando em um cluster em que um conjunto de dados é mantido emhdfs de maneira distribuída. Aqui está o que eu tenho: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 ...
Salve JSON no HDFS usando python
Eu tenho um script python que atualmente acessa uma API que retorna JSON. Ele pega a string JSON e a salva como um arquivo no sistema de arquivos local, onde eu a movo manualmente para o HDFS. Gostaria de mudar isso para que meu script python ...
Hive Crie vários arquivos pequenos para cada inserção no HDFS
o seguinte já foi alcançado Produtor Kafka que extrai dados do twitter usando o Spark Streaming.Consumidor Kafka que ingere dados na tabela Hive External (no HDFS).enquanto isso está funcionando bem até agora. há apenas um problema que estou ...
cache distribuído
Estou trabalhando com o hadoop 19 no opensuse linux, não estou usando nenhum cluster, e sim executando meu código hadoop na minha própria máquina. Estou seguindo a técnica padrão de colocação no cache distribuído, mas em vez de acessar os ...
Como usar a interface da web do ResourceManager como um usuário
Sempre que tento usar a interface da web do Hadoop Resource Manager ( http://resource-manger.host:8088/cluster/ [http://resource-manger.host:8088/cluster/]) eu mostro logado como dr.who. Minha pergunta, como posso fazer login como outro usuário? ...