Resultados da pesquisa a pedido "hadoop"
Oozie: Iniciar o Map-Reduce da ação Oozie <java>?
Estou tentando executar uma tarefa Map-Reduce em um fluxo de trabalho Oozie usando um<java> açao. O'Reilley'sApache Oozie (Islam e Srinivasan 2015) observa que: Embora não seja recomendado, a ação Java pode ser usada para executar tarefas ...
Como definir o tamanho do bloco de dados no Hadoop? É vantagem mudar isso?
Se pudermos alterar o tamanho do bloco de dados no Hadoop, informe-me como fazer isso. É vantajoso alterar o tamanho do bloco. Se sim, informe-me Por que e como? Se não, deixe-me saber por que e como?
O que é RDD no Spark
A definição diz: RDD é uma coleção distribuída imutável de objetos Não entendo bem o que isso significa. São como dados (objetos particionados) armazenados no disco rígido? Em caso afirmativo, como os RDDs podem ter classes definidas pelo ...
Gravação de arquivo Hadoop
Referindo-me ao livro definitivo do Hadoop do livro de Tom White ..... Minha pergunta (assumindo o fator de replicação 3 e os dados sendo gravados no nó D1, D2, D3) Se eu entendi corretamente, se a escrita no primeiro local D1 falhou ... todo o ...
Causado por: ERRO XSDB6: Outra instância do Derby já pode ter inicializado o banco de dados
Estou tentando executar o SparkSQL: val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)Mas o erro que estou recebendo está abaixo: ... 125 more Caused by: java.sql.SQLException: Another instance of Derby may have already booted the ...
Não foi possível conectar ao HIVE2 via JAVA
[/imgs/FESNi.jpg]Referindo-se aHive2 [https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-JDBC] criei um programa java simples para conectar-se ao servidor HIVE2 (não local), adicionamos todos os frascos ...
Como descompactar arquivos .gz em um novo diretório no hadoop?
Eu tenho um monte de arquivos .gz em uma pasta em hdfs. Quero descompactar todos esses arquivos .gz para uma nova pasta em hdfs. Como devo fazer isso?
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
Número padrão de redutores
No Hadoop, se não tivermos definido o número de redutores, quantos serão criados? O número de mapeadores depende de(tamanho total dos dados) / (tamanho da divisão de entrada), Por exemplo. se o tamanho dos dados for 1 TB e o tamanho da ...
Spark 1.6 - Falha ao localizar o binário winutils no caminho binário do hadoop
Eu sei que existe um post muito semelhante a este (Falha ao localizar o binário winutils no caminho binário do hadoop [https://stackoverflow.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path] ), no entanto, ...