Resultados da pesquisa a pedido "hadoop"
Carga Delta / Incremental no Hive
Eu tenho o caso de uso abaixo: Minha aplicação tem uma tabela tendodados plurianuaisnoRDBMSDB. Nós usamossqoop para obter dados no HDFS e carregados na tabela de seção dividida porano mês. Agora, o aplicativo é atualizado e insere novos ...
Concatene campos de coluna única usando GROUP BY
Existe alguma maneira de combinar / concat os campos em uma coluna agrupando-os. Por exemplo: col1 col2 1 aa 1 bb 1 cc 2 dd 2 eeEu quero consultar algo como: select col1, concat(col2) from tableName group by col1;A saída deve ser: 1 aa,bb,cc 2 ...
Como o Hive se compara ao HBase?
Estou interessado em descobrir como o recém-lançado ( http://mirror.facebook.com/facebook/hive/hadoop-0.17/ [http://mirror.facebook.com/facebook/hive/hadoop-0.17/]) O Hive se compara ao HBase em termos de desempenho. A interface do tipo SQL usada ...
spark - problema de espaço na pilha java - ExecutorLostFailure - container encerrado com status 143
Estou lendo a string com mais de 100k bytes e dividindo as colunas com base na largura. Eu tenho quase 16K colunas que eu divido acima da string com base na largura. mas enquanto escrevia em parquet, estou usando o código ...
Como fazer com que o Spark Streaming escreva sua saída para que o Impala possa lê-la?
Eu tenho o seguinte problema com a API de streaming do Spark. Atualmente, estou transmitindo dados de entrada via Flume para Spark Streaming, com o qual pretendo fazer um pré-processamento para os dados. Em seguida, gostaria de salvar os dados no ...
HBase no Hortonworks HDP Sandbox: Não é possível obter o endereço principal do ZooKeeper
Eu baixei o HDP 2.1 do hortonworks para virtualbox. Recebi o seguinte erro ao usar o shell Hbase no caso de um comando simples: create 't1', {NAME => 'f1', VERSIONS => 5} Hortonworks “ERRO: Não é possível obter o endereço principal do ZooKeeper; ...
Porco: número de controle dos mapeadores
Eu posso controlar o número de redutores usando a cláusula PARALLEL nas instruções que resultam em redutores. Eu quero controlar o número de mapeadores. A fonte de dados já está criada e não posso reduzir o número de partes na fonte de dados. É ...
Armazenando dados no SequenceFile do Apache Pig
Porco Apache pode carregar dados dos arquivos de sequência do Hadoop usando o PiggyBankSequenceFileLoader: REGISTER /home/hadoop/pig/contrib/piggybank/java/piggybank.jar; DEFINE SequenceFileLoader ...
hadoop - mapa reduz tarefa e variável estática
Comecei a trabalhar em um trabalho MapReduce do hadoop / hbase (usando cloudera) e tenho a seguinte pergunta: Digamos, temos uma classe java com uma variável principal e uma variável estática. Essa classe define a classe interna correspondente ...
Metadados do Hadoop Namenode - fsimage e editar logs
Entendo que o fsimage é carregado na memória na inicialização e quaisquer transações adicionais são adicionadas ao log de edição e não ao fsimage por motivos de desempenho. A fsimage na memória é atualizada quando o namenode é reiniciado. Por ...