Resultados da pesquisa a pedido "hadoop"

1 a resposta

Como aumentar o número de regiões em uma tabela HBase

Eu criei uma tabela no HBase com uma pré-divisão de 8 regiões, com o HexStringSplit como algoritmo de divisão. Agora eu quero aumentar o número de regiões, sem destruir a tabela existente e os dados nela. O comando com o qual eu criei a ...

1 a resposta

NameNode HA ao usar hdfs: // URI

Com esquema de URI HDFS ou HFTP (por exemplo,hdfs://namenode/path/to/file) Posso acessar clusters HDFS sem exigir seus arquivos de configuração XML. É muito útil ao executar comandos do shell comohdfs dfs -get, hadoop distcp ou lendo arquivos do ...

3 a resposta

Alterar o tamanho do bloco dos arquivos existentes no Hadoop

Considere um cluster hadoop em que o tamanho padrão do bloco é de 64 MBhdfs-site.xml. No entanto, mais tarde, a equipe decide alterar isso para 128 MB. Aqui estão minhas perguntas para o cenário acima? Essa alteração exigirá a reinicialização do ...

2 a resposta

Spark vs Apache Drill

Tenho alguma experiência com o Apache Spark e Spark-SQL. Recentemente eu encontrei o projeto Apache Drill. Você poderia me descrever quais são as vantagens / diferenças mais significativas entre elas? Eu já liAnálise rápida do Hadoop (Cloudera ...

1 a resposta

Erro de streaming do Python Hadoop “ERROR streaming.StreamJob: o trabalho não foi bem-sucedido!” E rastreamento de pilha: ExitCodeException exitCode = 134

Estou tentando executar o script python no cluster Hadoop usando o Hadoop Streaming para análise de sentimentos. O mesmo script que estou executando na máquina local que está executando corretamente e está fornecendo saída. para rodar na máquina ...

3 a resposta

Como cruzar unnest uma matriz JSON no Presto

Dada uma tabela que contém uma coluna de JSON como esta: {"payload":[{"type":"b","value":"9"}, {"type":"a","value":"8"}]} {"payload":[{"type":"c","value":"7"}, {"type":"b","value":"3"}]}Como posso escrever uma consulta Presto para me dar a ...

2 a resposta

Apache Hadoop Yarn - Subutilização de núcleos

Não importa o quanto eu mexa nas configurações doyarn-site.xml ou seja, usando todas as opções abaixo yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...

3 a resposta

Versão do hadoop da API 0.20.2 com java 5

Eu iniciei um projeto maven tentando implementar o algoritmo MapReduce no java 1.5.0_14. Eu escolhi a versão hadoop da API 0.20.2. No pom.xml, estou usando assim a seguinte dependência: <dependência> < groupId>org.apache.hadoop< /groupId> < ...

4 a resposta

Erro de operação pseudo-distribuída do Hadoop: a tag de mensagem de protocolo tinha um tipo de ligação inválido

Estou configurando umHadoop 2.6.0 Cluster de nó único. Eu sigo oDocumentação hadoop-common / SingleCluster [https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html] . Eu trabalho emUbuntu 14.04. Até agora, eu ...

1 a resposta

Ajustando consultas de seção que usam a tabela HBase subjacente

Eu tenho uma tabela no Hbase, digamos "tbl" e gostaria de consultá-la usando o Hive. Portanto, mapeei uma tabela para a seção da seguinte maneira: CREATE EXTERNAL TABLE tbl(id string, data map<string,string>) STORED ...