Resultados da pesquisa a pedido "hdfs"
Como é possível listar todos os arquivos csv em um local HDFS no shell Spark Scala?
O objetivo disso é manipular e salvar uma cópia de cada arquivo de dados em um segundo local no HDFS. Eu vou estar usando RddName.coalesce(1).saveAsTextFile(pathName)para salvar o resultado no HDFS. É por isso que quero fazer cada arquivo ...
Acessando a HDFS HA a partir do trabalho de faísca (erro UnknownHostException)
Tenho o cluster Apache Mesos 0.22.1 (3 mestres e 5 escravos), executando o Cloudera HDFS (2.5.0-cdh5.3.1) na configuração de alta disponibilidade e na estrutura Spark 1.5.1. Quando tento enviar um exemplo de aplicativo HdfsTest.scala compilado ...
Como funciona o processo de failover do Hadoop Namenode?
O guia definitivo do Hadoop diz: Cada Namenode é executadoum processo leve de controlador de failover, cujo trabalho émonitorar seu Namenode quanto a falhas(usando um mecanismo simples de pulsação) e acionar um failover caso um modo de nome ...
Por que o modo de dados Dockerized Hadoop está sendo registrado com o endereço IP errado?
Tenho imagens separadas do Docker (1.9.1) para os nomes de nó e de dados do Hadoop (2.7.1). Posso criar contêineres a partir deles e comunicá-los por uma rede Docker definida pelo usuário. No entanto, o tipo de dados parece reportar-se como tendo ...
O diretório raiz do zero: / tmp / hive no HDFS deve ser gravável. As permissões atuais são: rw-rw-rw- (no Windows)
Estou executando o Spark no Windows 7. Quando uso o Hive, vejo o seguinte erro The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-As permissões são definidas da seguinte maneira C:\tmp>ls -la total 20 ...
só pôde ser replicado para 0 nós em vez de minReplication (= 1). Existem 4 tipos de dados em execução e nenhum nó é excluído nesta operação
Não sei como corrigir este erro: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, taskId=task_1449805139484_0001_1_00_000003, diagnostics=[AttemptID:attempt_1449805139484_0001_1_00_000003_0 ...
Quando os arquivos são "dividíveis"?
Quando estou usando o spark, às vezes encontro um arquivo enorme em umHIVE tabela, e às vezes estou tentando processar muitos arquivos menores em uma tabela HIVE. Entendo que, ao ajustar trabalhos de faísca, como ele funciona depende se ...
Como definir o tamanho do bloco de dados no Hadoop? É vantagem mudar isso?
Se pudermos alterar o tamanho do bloco de dados no Hadoop, informe-me como fazer isso. É vantajoso alterar o tamanho do bloco. Se sim, informe-me Por que e como? Se não, deixe-me saber por que e como?
Como descompactar arquivos .gz em um novo diretório no hadoop?
Eu tenho um monte de arquivos .gz em uma pasta em hdfs. Quero descompactar todos esses arquivos .gz para uma nova pasta em hdfs. Como devo fazer isso?
Número padrão de redutores
No Hadoop, se não tivermos definido o número de redutores, quantos serão criados? O número de mapeadores depende de(tamanho total dos dados) / (tamanho da divisão de entrada), Por exemplo. se o tamanho dos dados for 1 TB e o tamanho da ...