Resultados da pesquisa a pedido "hdfs"
Como faço para corrigir “O arquivo só pode ser replicado para 0 nós em vez de minReplication (= 1).”?
Fiz uma pergunta semelhante há um tempo atrás [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] e achei que resolvi esse problema, mas acabou que ele desapareceu ...
Como faço para subir no HDFS com spark?
Eu particionei dados no HDFS. Em algum momento eu decido atualizá-lo. O algoritmo é: Leia os novos dados de um tópico kafk Descubra novos nomes de partição de dado Carregue os dados das partições com esses nomes que estão no HDFMerge os dados do ...
Como criar um número n de tabelas externas com um único caminho hdfs usando o Hive
É possível criar um número n de tabelas externas apontando para um único caminho de hdfs usando o Hive. Se sim, quais são as vantagens e suas limitaçõe
Acesso remoto ao HDFS no Kubernetes
Estou tentando configurar o HDFS no minikube (por enquanto) e posteriormente em um cluster DEV kubernetes para que eu possa usá-lo com o Spark. Quero que o Spark seja executado localmente na minha máquina para que eu possa executar no modo de ...
Execute o hadoop no Mac OS
Eu tento configurar para executar o Hadoop no Mac OS combrew. Os passos dados são fornecidos abaixo, instalarhadoop com o comando$brew install hadoopDentro da pastausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop e adicionou os comandos ...
Diferença entre gravação de conjunto de dados do Spark
estou a usarSpark-Java. Preciso saber se existe alguma diferença (desempenho etc) entre os seguintes métodos de gravação nos Hadoop: ds.write().mode(mode).format("orc").save(path);Ou ds.write().mode(mode).orc(path);Obrigado.
É possível salvar arquivos no Hadoop sem salvá-los no sistema de arquivos local?
É possível salvar arquivos no Hadoop sem salvá-los no sistema de arquivos local? Gostaria de fazer algo como o mostrado abaixo, no entanto, gostaria de salvar o arquivo diretamente no HDFS. No momento, salvei os arquivos no diretório ...
Como combinar ou mesclar arquivos ORC pequenos em um arquivo ORC maior?
A maioria das perguntas / respostas no SO e na web discutem o uso do Hive para combinar vários arquivos ORC pequenos em um maior, no entanto, meus arquivos ORC são arquivos de log separados por dia e preciso mantê-los separados. Eu só ...
Como salvar um arquivo no cluster
Estou conectado ao cluster usandossh e eu envio o programa para o cluster usando spark-submit --master yarn myProgram.pyQuero salvar o resultado em um arquivo de texto e tentei usar as seguintes ...
Operação de gravação do Hadoop HDFS programaticamente
Eu fiz uma pergunta semelhante há um tempo, mas depois eu não tinha ideia do que estava falando. Estou postando esta pergunta com mais detalhes e consultas diretas. Então, eu configurei o cluster hadoop com namenode e 2 datanodes. Estou usando ...