Resultados da pesquisa a pedido "hdfs"
Quando os arquivos são "dividíveis"?
Quando estou usando o spark, às vezes encontro um arquivo enorme em umHIVE tabela, e às vezes estou tentando processar muitos arquivos menores em uma tabela HIVE. Entendo que, ao ajustar trabalhos de faísca, como ele funciona depende se ...
O diretório raiz do zero: / tmp / hive no HDFS deve ser gravável. As permissões atuais são: rw-rw-rw- (no Windows)
Estou executando o Spark no Windows 7. Quando uso o Hive, vejo o seguinte erro The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-As permissões são definidas da seguinte maneira C:\tmp>ls -la total 20 ...
Por que o modo de dados Dockerized Hadoop está sendo registrado com o endereço IP errado?
Tenho imagens separadas do Docker (1.9.1) para os nomes de nó e de dados do Hadoop (2.7.1). Posso criar contêineres a partir deles e comunicá-los por uma rede Docker definida pelo usuário. No entanto, o tipo de dados parece reportar-se como tendo ...
Como funciona o processo de failover do Hadoop Namenode?
O guia definitivo do Hadoop diz: Cada Namenode é executadoum processo leve de controlador de failover, cujo trabalho émonitorar seu Namenode quanto a falhas(usando um mecanismo simples de pulsação) e acionar um failover caso um modo de nome ...
Acessando a HDFS HA a partir do trabalho de faísca (erro UnknownHostException)
Tenho o cluster Apache Mesos 0.22.1 (3 mestres e 5 escravos), executando o Cloudera HDFS (2.5.0-cdh5.3.1) na configuração de alta disponibilidade e na estrutura Spark 1.5.1. Quando tento enviar um exemplo de aplicativo HdfsTest.scala compilado ...
Como é possível listar todos os arquivos csv em um local HDFS no shell Spark Scala?
O objetivo disso é manipular e salvar uma cópia de cada arquivo de dados em um segundo local no HDFS. Eu vou estar usando RddName.coalesce(1).saveAsTextFile(pathName)para salvar o resultado no HDFS. É por isso que quero fazer cada arquivo ...
Como gravar no HDFS usando o Scala
Estou aprendendo Scala e preciso gravar um arquivo personalizado no HDFS. Eu tenho meu próprio HDFS rodando em uma imagem Cloudera usando a fusão de vmware no meu laptop. Este é o meu código real: package org.glassfish.samples import ...
Não foi possível conectar-se ao armazenamento de blues azuis com o hadoop local
Enquanto tenta conectar ohadoop localcom oAZURE BLOBarmazenamento (ou seja, usando oarmazenamento de blob como HDFS) com a versão Hadoop - 2.7.1, lança exceção Aqui eu formei com sucesso o cluster local definindo a propriedade <property> ...
Como passar arquivos Jar para shell script no nó shell OOZIE
Olá, estou recebendo o erro abaixo ao executar um programa java em um script que está sendo executado no fluxo de trabalho de ação do shell oozie. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in ...
Salve JSON no HDFS usando python
Eu tenho um script python que atualmente acessa uma API que retorna JSON. Ele pega a string JSON e a salva como um arquivo no sistema de arquivos local, onde eu a movo manualmente para o HDFS. Gostaria de mudar isso para que meu script python ...