Resultados da pesquisa a pedido "hdfs"
Obtendo arquivos no Hadoop em um aplicativo Web
Eu sou novo no Hadoop. No momento, estou tentando fazer um aplicativo no eclipse no qual desejo usar os dados presentes no HDFS. Se queremos nos conectar ao banco de dados com Java, temos uma conexão JDBC. Dessa forma, o que preciso fazer para ...
Existe alguma perda de memória no HDFS se usarmos arquivos pequenos?
Abaixo, citei o Hadoop - O guia definitivo: Observe que arquivos pequenos não ocupam mais espaço em disco do que o necessário para armazenar o conteúdo bruto do arquivo. Por exemplo, um arquivo de 1 MB armazenado com um tamanho de bloco de 128 MB ...
É possível salvar arquivos no Hadoop sem salvá-los no sistema de arquivos local?
É possível salvar arquivos no Hadoop sem salvá-los no sistema de arquivos local? Gostaria de fazer algo como o mostrado abaixo, no entanto, gostaria de salvar o arquivo diretamente no HDFS. No momento, salvei os arquivos no diretório ...
É possível armazenar imagens no Elasticsearch?
É possível armazenar imagens em clusters do Elasticsearch? Se sim, existe algum recurso sobre o fluxo de trabalho? Eu verifiquei o seguinte link: https://github.com/kzwang/elasticsearch-image [https://github.com/kzwang/elasticsearch-image] Como ...
A formatação hadoop hdfs obtém um erro no pool de blocos
Após formatar meus hdfs, recebo os seguintes erros: 2015-05-28 21:41:57,544 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/dfs/datanode: namenode clusterID = ...
Tamanho de divisão versus tamanho de bloco no Hadoop
Qual é a relação entre tamanho de divisão e tamanho de bloco no Hadoop? Como eu liesta [http://willddy.github.io/2012/08/25/Hadoop-Split-and-Block.html], o tamanho da divisão deve ser n vezes o tamanho do bloco (n é um número inteiro en> 0), está ...
Colocar arquivo no HDFS com espaços no nome
Eu tenho um arquivo chamadofile name(1).zip (com o espaço e parênteses) e eu quero colocar esse arquivo no HDFS. Mas sempre que tento colocá-lo viahadoop fs -put ... , Recebo uma exceção. Eu até tentei adicionar aspas ao arquivo e até tentei ...
localidade de dados spark + hadoop
Eu tenho um RDD de nomes de arquivos, então um RDD [String]. Eu entendo isso paralelizando uma lista de nomes de arquivos (de arquivos dentro de hdfs). Agora mapeio esse rdd e meu código abre um fluxo hadoop usando FileSystem.open (path). Então ...
Diferença entre gravação de conjunto de dados do Spark
estou a usarSpark-Java. Preciso saber se existe alguma diferença (desempenho etc) entre os seguintes métodos de gravação nos Hadoop: ds.write().mode(mode).format("orc").save(path);Ou ds.write().mode(mode).orc(path);Obrigado.
Processar o Spark Streaming rdd e armazenar em um único arquivo HDFS
Estou usando o Kafka Spark Streaming para obter dados de streaming. val lines = KafkaUtils.createDirectStream[Array[Byte], String, DefaultDecoder, StringDecoder](ssc, kafkaConf, Set(topic)).map(_._2)Estou usando este DStream e processando ...