Resultados da pesquisa a pedido "hadoop"
JAVA _Home não está definido no Hadoop
Eu sou um iniciante com hadoop e tentando instalar e executar hadoop no meu Ubuntu como um cluster de nó único. Este é o meu JAVA_HOME no meu hadoop_env.sh
As variáveis hiveconf podem ser carregadas de um arquivo? (Separe do arquivo HiveQL)
Geralmente, tenho um grande bloco de HiveQL que desejo executar várias vezes com configurações diferentes para algumas variáveis. Um exemplo simples seria: set mindate='2015-01-01 00:00:00' set maxdate='2015-04-01 00:00:00' select * from ...
Como o Spark em execução no YARN explica o uso de memória do Python?
Após ler a documentação, não entendo como o Spark em execução no YARN explica o consumo de memória do Python. Isso conta paraspark.executor.memory, spark.executor.memoryOverhead ou onde? Em particular, eu tenho um aplicativo PySpark ...
Conectando ao serviço HBase remoto usando Java
Eu tenho um pequeno código de exemplo no qual tento estabelecer uma conexão com uma entidade HBase remota. O código é executado em uma máquina Windows sem o HBase instalado e eu tento conectar-me a um servidor Ubuntu remoto que esteja instalado e ...
O Hive possui uma função de divisão String?
Estou procurando uma função de divisão de String embutida no Hive? Por exemplo. se String for A | B | C | D | E então eu quero ter uma função como array split (entrada de string, delimitador de caracteres) para que eu volte [A, B, C, D, ...
NLineInputFormat não funciona no Spark
O que eu quero é basicamente ter cada elemento de dados composto por 10 linhas. No entanto, com o código a seguir, cada elemento ainda é uma linha. Que erro estou cometendo aqui? val conf = new SparkConf().setAppName("MyApp") ...
Analisar tags XML repetidas no Hive
estou usandohivexmlserdepara analisar arquivos xml. Estou analisando algumas tags repetidas no meu xml e armazenando-as comomatriz <corda>. O resultado que estou recebendo é mostrado ...
Usando o Hadoop pela primeira vez, o trabalho MapReduce não executa a fase de redução
Eu escrevi um trabalho simples de redução de mapa que leria os dados do DFS e executava um algoritmo simples nele. Ao tentar depurá-lo, decidi simplesmente fazer com que os mapeadores produzissem um único conjunto de chaves e valores, e os ...
Exceção ao usar a vista lateral no Hive
Estou usando o código abaixo para analisar dados xml no Hive. Nos meus dados xml, algumas tags estão se repetindo, então estou usando o jarro de tijolo e a vista lateral para analisar as tags e colocá-las nas tabelas do Hive. Mas quando estou ...