Resultados da pesquisa a pedido "hdfs"
Por que um bloco no HDFS é tão grande?
Alguém pode explicar esse cálculo e dar uma explicação lúcida? Um cálculo rápido mostra que, se o tempo de busca for em torno de 10 ms e a taxa de transferência for de 100 MB / s, para tornar o tempo de busca em 1% do tempo de transferência, ...
Por que “hadoop fs -mkdir” falha com a permissão negada?
Estou usando o Cloudera em uma máquina VM com a qual estou brincando. Infelizmente, estou tendo problemas para copiar dados para o HDFS, e estou obtendo o seguinte: [cloudera@localhost ~]$ hadoop fs -mkdir input mkdir: Permission ...
Lendo arquivo HDFS remoto com Java
Estou com alguns problemas com uma instalação simples do Hadoop. Fiz o download do hadoop 2.4.0 e instalei em um único nó do CentOS Linux (Máquina Virtual). Eu configurei o hadoop para um único nó com pseudo-distribuição, conforme descrito no ...
O que deve ser hadoop.tmp.dir?
O Hadoop possui parâmetro de configuraçãohadoop.tmp.dir qual, conforme a documentação, é `"Base para outros diretórios temporários." Presumo que esse caminho se refira ao sistema de arquivos local. Eu defino esse valor ...
Erro ao tentar gravar em hdfs: o servidor IPC versão 9 não pode se comunicar com o cliente versão 4
Estou tentando escrever um arquivo para hdfs usando scala e continuo recebendo o seguinte erro Caused by: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 ...
qual é o significado do espaço para nome e dos metadados usados nos hdfs (namenode)
Como iniciante no hadoop, estou confuso com essas palavras namespace e metadados. Existe alguma relação entre esses dois?
Escreva e leia matrizes de bytes brutos no Spark - usando o arquivo de sequência SequenceFile
Como você escreveRDD[Array[Byte]] para um arquivo usando o Apache Spark e lê-lo novamente?
Grave em várias saídas com a chave Spark - um trabalho do Spark
Como você pode gravar em várias saídas dependentes da chave usando o Spark em um único trabalho. Relacionado:Grave em várias saídas com a chave Scalding Hadoop, uma ...
Comando para armazenar arquivos no HDFS
Introdução Um Hadoop NameNode e três DataNodes foram instalados e estão em execução. O próximo passo é fornecer um arquivo para o HDFS. Os seguintes comandos foram executados: hadoop fs -copyFromLocal ubuntu-14.04-desktop-amd64.iso ...
Como combinar ou mesclar arquivos ORC pequenos em um arquivo ORC maior?
A maioria das perguntas / respostas no SO e na web discutem o uso do Hive para combinar vários arquivos ORC pequenos em um maior, no entanto, meus arquivos ORC são arquivos de log separados por dia e preciso mantê-los separados. Eu só ...