Resultados da pesquisa a pedido "hdfs"
Analisar CSV como DataFrame / DataSet com Apache Spark e Java
Eu sou novo no spark, e quero usar o agrupar por e reduzir para encontrar o seguinte em CSV (uma linha por funcionário): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, 32000, LA Sales, ...
Hadoop HDFS tamanho máximo do arquivo
Um colega meu acha que o HDFS não tem tamanho máximo de arquivo, ou seja, ao particionar em pedaços de 128/256 meg, qualquer tamanho de arquivo pode ser armazenado (obviamente, o disco HDFS tem um tamanho e isso limitará, mas esse é o único ...
Como forçar STORE (substituir) para HDFS no Pig?
Ao desenvolver scripts Pig que usam oLOJA comando eu tenho que excluir o diretório de saída para cada execução ou o script pára e oferece:
Verificação de soma de verificação no Hadoop
Precisamos verificar a soma de verificação depois de mover os arquivos para o Hadoop (HDFS) de um servidor Linux por meio de um Webhdfs? Gostaria de garantir que os arquivos no HDFS não apresentem danos após serem copiados. Mas a verificação é ...
só pôde ser replicado para 0 nós em vez de minReplication (= 1). Existem 4 tipos de dados em execução e nenhum nó é excluído nesta operação
Não sei como corrigir este erro: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, taskId=task_1449805139484_0001_1_00_000003, diagnostics=[AttemptID:attempt_1449805139484_0001_1_00_000003_0 ...
Hadoop: Exemplo de processo para gerar um SequenceFile com binários de imagem a serem processados no mapa / reduzir
SegueHadoop: como acessar (muitas) imagens fotográficas a serem processadas por mapa / redução? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] pergunta, onde ...
Erro Kerberos ao conectar-se ao impala e hbase
Estamos desenvolvendo um aplicativo da web que interage com componentes do hadoop, como HDFS, HBase e Impala. O cluster é kerberizado, estamos autenticando com a configuração do JAAS. Estamos configurando o JAAS nos argumentos da VM como ...
Escreva um arquivo em hdfs com Java
Eu quero criar um arquivo no HDFS e gravar dados nele. Eu usei este código: