Resultados da pesquisa a pedido "hdfs"
Faísca no entendimento do conceito de fios
Estou tentando entender como o spark é executado no cluster / cliente YARN. Eu tenho a seguinte pergunta em minha mente. É necessário que o spark esteja instalado em todos os nós no cluster de fios? Eu acho que deveria, porque os nós do ...
Como inserir um arquivo HDFS no R mapreduce para processamento e obter o resultado no arquivo HDFS
Eu tenho uma pergunta semelhante ao link abaixo no stackoverflow R + Hadoop: Como ler o arquivo CSV do HDFS e executar o ...
Não foi possível conectar-se ao HDFS usando a etapa PDI
Eu configurei com sucessoHadoop 2.4em umUbuntu 14.04 VMa partir de umWindows 8 sistema. A instalação do Hadoop está funcionando muito bem e também consigo visualizar o Namenode no meu navegador Windows. Imagem anexada abaixo: Portanto, meu ...
O comando “hadoop fs -ls.” Não funciona
Eu acho que instalei o hadoop corretamente. Se eu fizerjps Eu posso ver o namenode e datanode, não há problema. Quando digitohadoop fs -ls . Eu recebo o erro: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded ...
que diferença entre executar uma tarefa de redução de mapa usando o comando hadoop e java
Encontre muitas opções para executar um programa de redução de mapa. Qualquer um pode explicar a diferença entre as teses abaixo dos comandos. E que impacto no trabalho de redução de mapa, se houver. java -jar MyMapReduce.jar [args] hadoop jar ...
Analisar CSV como DataFrame / DataSet com Apache Spark e Java
Eu sou novo no spark, e quero usar o agrupar por e reduzir para encontrar o seguinte em CSV (uma linha por funcionário): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, 32000, LA Sales, ...
lendo todos os arquivos do HDFS recursivamente no spark java api
Estou usando o spark para ler dados de todos os arquivos do HDFS em um único RDD de um diretório e também dos subdiretórios. Não consegui encontrar nenhum método eficiente para fazer isso. Então, eu tentei escrever um código personalizado, como ...
Existem 0 tipos de dados em execução e nenhum nó é excluído nesta operação
Eu configurei um cluster Hadoop de vários nós. O NameNode e o Secondenode secundário são executados na mesma máquina e o cluster possui apenas um Datanode. Todos os nós estão configurados nas máquinas Amazon EC2. A seguir, estão os arquivos de ...
Carregar matriz JSON no Pig
Eu tenho um arquivo json com o seguinte formato [ { "id": 2, "createdBy": 0, "status": 0, "utcTime": "Oct 14, 2014 4:49:47 PM", "placeName": "21/F, Cunningham Main Rd, Sampangi Rama NagarBengaluruKarnatakaIndia", "longitude": 77.5983817, ...
Acessando um arquivo que está sendo gravado
You use the hadoop fs –put command to write a 300 MB file using and HDFS block size of 64 MB. Just after this command has finished writing 200 MB of this file, what would another user see when trying to access this file? a.) They would see Hadoop ...