Resultados da pesquisa a pedido "hadoop"
Como aumentar o número de regiões em uma tabela HBase
Eu criei uma tabela no HBase com uma pré-divisão de 8 regiões, com o HexStringSplit como algoritmo de divisão. Agora eu quero aumentar o número de regiões, sem destruir a tabela existente e os dados nela. O comando com o qual eu criei a ...
NameNode HA ao usar hdfs: // URI
Com esquema de URI HDFS ou HFTP (por exemplo,hdfs://namenode/path/to/file) Posso acessar clusters HDFS sem exigir seus arquivos de configuração XML. É muito útil ao executar comandos do shell comohdfs dfs -get, hadoop distcp ou lendo arquivos do ...
Alterar o tamanho do bloco dos arquivos existentes no Hadoop
Considere um cluster hadoop em que o tamanho padrão do bloco é de 64 MBhdfs-site.xml. No entanto, mais tarde, a equipe decide alterar isso para 128 MB. Aqui estão minhas perguntas para o cenário acima? Essa alteração exigirá a reinicialização do ...
Spark vs Apache Drill
Tenho alguma experiência com o Apache Spark e Spark-SQL. Recentemente eu encontrei o projeto Apache Drill. Você poderia me descrever quais são as vantagens / diferenças mais significativas entre elas? Eu já liAnálise rápida do Hadoop (Cloudera ...
Erro de streaming do Python Hadoop “ERROR streaming.StreamJob: o trabalho não foi bem-sucedido!” E rastreamento de pilha: ExitCodeException exitCode = 134
Estou tentando executar o script python no cluster Hadoop usando o Hadoop Streaming para análise de sentimentos. O mesmo script que estou executando na máquina local que está executando corretamente e está fornecendo saída. para rodar na máquina ...
Como cruzar unnest uma matriz JSON no Presto
Dada uma tabela que contém uma coluna de JSON como esta: {"payload":[{"type":"b","value":"9"}, {"type":"a","value":"8"}]} {"payload":[{"type":"c","value":"7"}, {"type":"b","value":"3"}]}Como posso escrever uma consulta Presto para me dar a ...
Apache Hadoop Yarn - Subutilização de núcleos
Não importa o quanto eu mexa nas configurações doyarn-site.xml ou seja, usando todas as opções abaixo yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...
Versão do hadoop da API 0.20.2 com java 5
Eu iniciei um projeto maven tentando implementar o algoritmo MapReduce no java 1.5.0_14. Eu escolhi a versão hadoop da API 0.20.2. No pom.xml, estou usando assim a seguinte dependência: <dependência> < groupId>org.apache.hadoop< /groupId> < ...
Erro de operação pseudo-distribuída do Hadoop: a tag de mensagem de protocolo tinha um tipo de ligação inválido
Estou configurando umHadoop 2.6.0 Cluster de nó único. Eu sigo oDocumentação hadoop-common / SingleCluster [https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html] . Eu trabalho emUbuntu 14.04. Até agora, eu ...
Ajustando consultas de seção que usam a tabela HBase subjacente
Eu tenho uma tabela no Hbase, digamos "tbl" e gostaria de consultá-la usando o Hive. Portanto, mapeei uma tabela para a seção da seguinte maneira: CREATE EXTERNAL TABLE tbl(id string, data map<string,string>) STORED ...