Resultados da pesquisa a pedido "hdfs"
Copie arquivos (config) do HDFS para o diretório de trabalho local de todos os executores spark
Eu estou procurando como copiar uma pasta com arquivos de dependências de recursos do HDFS para um diretório de trabalho local de cada executor de spark usando Java. Eu estava pensando em usar a opção --files FILES de envio de spark, mas ...
Operação de gravação do Hadoop HDFS programaticamente
Eu fiz uma pergunta semelhante há um tempo, mas depois eu não tinha ideia do que estava falando. Estou postando esta pergunta com mais detalhes e consultas diretas. Então, eu configurei o cluster hadoop com namenode e 2 datanodes. Estou usando ...
Como salvar um arquivo no cluster
Estou conectado ao cluster usandossh e eu envio o programa para o cluster usando spark-submit --master yarn myProgram.pyQuero salvar o resultado em um arquivo de texto e tentei usar as seguintes ...
Como usar o Hadoop InputFormats no Apache Spark?
Eu tenho aulaImageInputFormat no Hadoop, que lê imagens do HDFS. Como usar meu InputFormat no Spark? Aqui está o meuImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Como o HBase habilita o Acesso aleatório ao HDFS?
Como o HBase é um banco de dados com seus arquivos armazenados no HDFS, como habilita o acesso aleatório a uma parte singular de dados no HDFS? Por qual método isso é realizado? Deo Guia de Referência do Apache ...
Existe um equivalente a `pwd` em hdfs?
Eu tentei fazerhdfs dfs -pwd, mas esse comando não existe. Atualmente, estou recorrendo a fazerhdfs dfs -ls .. Seguido porhdfs dfs -ls ../... Eu também olhei para a lista de comandos parahdfs dfs mas não vi nada que parecesse promissor. Existe ...
hadoop getmerge para outra máquina
É possível armazenar a saída dohadoop dfs -getmerge comando para outra máquina? O motivo é que não há espaço suficiente na minha máquina local. A saída do trabalho é de 100 GB e meu armazenamento local é de 60 GB. Outra razão possível pode ser ...
nó de dados hdfs desconectado do namenode
De tempos em tempos, recebo os seguintes erros no cloudera manager: This DataNode is not connected to one or more of its NameNode(s).e The Cloudera Manager agent got an unexpected response from this role's web server.(geralmente juntos, às ...
Obtenha algumas linhas de dados HDFS
Estou tendo um2 GB dados na minhaHDFS. É possível obter esses dados aleatoriamente. Como fazemos na linha de comando do Unix cat iris2.csv |head -n 50
O coletor Flume HDFS continua rolando arquivos pequenos
Estou tentando transmitir dados do twitter em hdfs usando o flume e isso: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] O que quer que eu tente aqui, ele continua criando arquivos em HDFS com ...