Tabelas de seção não encontradas ao executar no modo YARN-Cluster

Eu tenho um aplicativo Spark (versão 1.4.1) no HDP 2.3. Funciona bem ao executá-lo no modo YARN-Client. No entanto, ao executá-lo no modo YARN-Cluster, nenhuma das minhas tabelas do Hive pode ser encontrada pelo aplicativo. Eu envio a inscrição ...

Como definir o tamanho do bloco de dados no Hadoop? É vantagem mudar isso?

Se pudermos alterar o tamanho do bloco de dados no Hadoop, informe-me como fazer isso. É vantajoso alterar o tamanho do bloco. Se sim, informe-me Por que e como? Se não, deixe-me saber por que e como?

permissões de arquivo de usuário hadoop

Eu tenho um problema ao definir permissões de arquivo hadoop no hortonworks e cloudera. Minha exigência é: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case /user/myuser ...

Problema ao conectar kafka de fora

Estou usando hortonwork Sandbox para servidor kafka tentando conectar kafka do eclipse com código java. Use esta configuração para conectar-se ao produtor e enviar a ...

nifi ConvertRecord JSON para CSV recebendo apenas um único registro?

Eu tenho o fluxo abaixo configurado para ler dados json e convertê-lo em csv usando o processador convertRecord. No entanto, o arquivo de fluxo de saída é preenchido apenas com um único registro(Estou assumindo apenas o primeiro registro) em vez ...

Solicitações interrompem ao usar o cliente Hiveserver2 Thrift Java

Esta é uma pergunta de acompanhamentoessa questão onde eu pergunto o que é o Hiveserver 2 thrift java client API. Esta questão deve ser capaz de se manter se...

HBase no Hortonworks HDP Sandbox: Não é possível obter o endereço principal do ZooKeeper

Eu baixei o HDP 2.1 do hortonworks para virtualbox. Recebi o seguinte erro ao usar o shell Hbase no caso de um comando simples: create 't1', {NAME => 'f1', VERSIONS => 5} Hortonworks “ERRO: Não é possível obter o endereço principal do ZooKeeper; ...

Como carregar CSVs com registros de data e hora em formato personalizado?

Eu tenho um campo de carimbo de data / hora em um arquivo CSV que eu carrego em um dataframe usando a biblioteca spark CSV. O mesmo trecho de código funciona na minha máquina local com a versão Spark 2.0, mas gera um erro no Azure Hortonworks HDP ...

Spark no YARN muito menos vcores usados

Estou usando o Spark em um cluster YARN (HDP 2.4) com as seguintes configurações: 1 Masternode64 GB de RAM (50 GB utilizáveis)24 núcleos (19 núcleos utilizáveis)5 Slavenodes64 GB de RAM (50 GB utilizáveis) cada24 núcleos (19 núcleos utilizáveis) ...

Erro de instalação: ftheader.h: Nenhum arquivo ou diretório