Resultados da pesquisa a pedido "hdfs"
Acesso remoto ao HDFS no Kubernetes
Estou tentando configurar o HDFS no minikube (por enquanto) e posteriormente em um cluster DEV kubernetes para que eu possa usá-lo com o Spark. Quero que o Spark seja executado localmente na minha máquina para que eu possa executar no modo de ...
Como criar um número n de tabelas externas com um único caminho hdfs usando o Hive
É possível criar um número n de tabelas externas apontando para um único caminho de hdfs usando o Hive. Se sim, quais são as vantagens e suas limitaçõe
Como faço para subir no HDFS com spark?
Eu particionei dados no HDFS. Em algum momento eu decido atualizá-lo. O algoritmo é: Leia os novos dados de um tópico kafk Descubra novos nomes de partição de dado Carregue os dados das partições com esses nomes que estão no HDFMerge os dados do ...
Como faço para corrigir “O arquivo só pode ser replicado para 0 nós em vez de minReplication (= 1).”?
Fiz uma pergunta semelhante há um tempo atrás [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] e achei que resolvi esse problema, mas acabou que ele desapareceu ...
Hadoop HDFS tamanho máximo do arquivo
Um colega meu acha que o HDFS não tem tamanho máximo de arquivo, ou seja, ao particionar em pedaços de 128/256 meg, qualquer tamanho de arquivo pode ser armazenado (obviamente, o disco HDFS tem um tamanho e isso limitará, mas esse é o único ...
Mover arquivos no Hadoop usando a API Java?
Eu quero mover arquivos no HDFS usando as APIs Java. Não consigo descobrir uma maneira de fazer isso. A classe FileSystem parece querer permitir a movimentação de e para o sistema de arquivos local .. mas eu quero mantê-los no HDFS e movê-los ...
Hadoop, como comprimir a saída do mapeador, mas não a saída do redutor
Eu tenho um programa java de redução de mapa no qual tento compactar apenas a saída do mapeador, mas não a saída do redutor. Eu pensei que isso seria possível, definindo as seguintes propriedades na instância de configuração, conforme listado ...
Lendo programaticamente a saída do Programa Hadoop Mapreduce
Essa pode ser uma pergunta básica, mas não consegui encontrar uma resposta para ela no Google. Tenho um trabalho de redução de mapa que cria vários arquivos de saída em seu diretório de saída. Meu aplicativo Java executa esse trabalho em um ...
Tabela Hive de partição por campo existente?
Posso particionar uma tabela do Hive após a inserção por um campo existent Tenho um arquivo de 10 GB com um campo de data e uma hora do dia. Posso carregar esse arquivo em uma tabela e depois inserir sobrescrever em outra tabela particionada que ...
roblema de permissões do @Apache Pig
Estou tentando colocar o Apache Pig em funcionamento no cluster Hadoop e estou com um problema de permissão. O próprio Pig está iniciando e se conectando ao cluster muito bem - de dentro do shell do Pig, eu possols através e em volta dos meus ...