Resultados da pesquisa a pedido "hadoop"
Usando elasticsearch como repositório central de dados
No momento, estamos usando o elasticsearch para indexar e executar pesquisas em cerca de 10 milhões de documentos. Funciona bem e estamos felizes com seu desempenho. Meu colega que iniciou o uso da elasticsearch está convencido de que ele pode ...
Como ler arquivos gz no Spark usando wholeTextFiles
Eu tenho uma pasta que contém muitos arquivos .gz pequenos (arquivos de texto csv compactados). Preciso lê-los no meu trabalho do Spark, mas o processo é necessário, com base nas informações contidas no nome do arquivo. Portanto, eu não ...
O zookeeper gerenciado pela Hbase tentou repentinamente se conectar ao host local em vez do quorum do zookeeper
Eu estava executando alguns testes com mapeadores e redutores de tabela em problemas de grande escala. Depois de um certo ponto, meus redutores começaram a falhar quando o trabalho foi concluído em 80%. Pelo que posso dizer ao olhar para os ...
Apache Spark: O número de núcleos versus o número de executores
Estou tentando entender a relação do número de núcleos e o número de executores ao executar uma tarefa do Spark no YARN. O ambiente de teste é o seguinte: Número de nós de dados: 3Especificação da máquina do nó de dados:CPU: Core i7-4790 (nº de ...
O campo obrigatório 'client_protocol' está desativado
Estou usando o Hive 0.12 e estou tentando o JDBC do apache. Quando tento executar o código, obtenho apache.thrift.TApplicationException. import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import ...
Não foi possível localizar ou carregar a classe principal org.apache.hadoop.hdfs.server.namenode.Namenode
Sei que isso já foi solicitado antes, mas não consegui descobrir a solução. Estou recebendo o erro abaixo quando estou tentando executarhdfs name node -format: Não foi possível localizar ou carregar a classe ...
a saída da fase do mapa do trabalho de mapreduce está sempre classificada?
Estou um pouco confuso com a saída que recebo do Mapper. Por exemplo, quando executo um programa simples de contagem de palavras, com este texto de entrada: hello world Hadoop programming mapreduce wordcount lets see if this works 12345678 ...
Como usar o hbase com o Spring Boot usando Java em vez de XML?
Eu tenho o Spring Boot Hadoop e quero aproveitar o Spring HbaseTemplate. Meu problema é que a documentação possui apenas informações sobre a maneira "xml" da configuração. Como e onde eu defino minha configuração para a configuração do hbase em ...
Encadeando várias tarefas do MapReduce no Hadoop
Em muitas situações da vida real em que você aplica o MapReduce, os algoritmos finais acabam sendo várias etapas do MapReduce. ou seja, Mapa1, Reduzir1, Mapa2, Reduzir2 e assim por diante. Portanto, você tem a saída da última redução necessária ...
Faísca no entendimento do conceito de fios
Estou tentando entender como o spark é executado no cluster / cliente YARN. Eu tenho a seguinte pergunta em minha mente. É necessário que o spark esteja instalado em todos os nós no cluster de fios? Eu acho que deveria, porque os nós do ...