Resultados da pesquisa a pedido "hadoop"
Obter o último arquivo atualizado no HDFS
Quero o arquivo atualizado mais recente de um dos meus diretórios HDFS. O código deve basicamente percorrer os diretórios e subdiretórios e obter o caminho do arquivo mais recente com o nome do arquivo. Consegui obter o arquivo mais recente no ...
iterador de manipulação em mapreduce
Estou tentando encontrar a soma de quaisquer pontos usando o hadoop. O problema que estou enfrentando é obter todos os valores de uma determinada chave em um único redutor. Se parece com isso. Redutor: public static class Reduce extends ...
Spark Execução do arquivo TB na memória
Vamos supor que eu tenho um arquivo de dados Tb. Cada memória do nó no cluster de dez nós é de 3 GB. Quero processar o arquivo usando o spark. Mas como o One TeraByte se encaixa na memória? Será que vai lançar exceção de memória? Como funciona?
Arquivos Concat Avro usando avro-tools
Estou tentando mesclar arquivos avro em um arquivo grande, o problema éconcat comando não aceita o curinga hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroEu recebo: Exceção no encadeamento "main" ...
MultipleOutputFormat no hadoop
Sou novato no Hadoop. Estou testando o programa Wordcount. Agora, para experimentar vários arquivos de saída, eu usoMultipleOutputFormat. esse link me ajudou a ...
Como se conectar ao Hadoop / Hive do .NET
Estou trabalhando em uma solução em que terei um cluster Hadoop com o Hive em execução e desejo enviar trabalhos e consultas de hive de um aplicativo .NET para serem processados e notificados quando concluídos. Não consigo encontrar nenhuma ...
Query Hive Meta Store
Quero saber como consultar o banco de dados do metastore da seção e pegar algumas propriedades importantes, incluindo: Criar Datadata da última atualizaçãodata do último acessoAcabei de aprender um comando de colméiashow table extend like ...
Conecte-se ao Impala usando o cliente impyla com autenticação Kerberos
Estou em uma máquina W8, onde uso Python (Anacondadistribuição) para conectar-se aImpalana nossaHadoopcluster usando oImpylapacote. Nosso cluster hadoop é protegido porKerberos. Eu segui oREFERÊNCIA DA ...
Como obter todas as definições de tabela em um banco de dados no Hive?
Estou procurando obter todas as definições de tabela no Hive. Eu sei que, para definição de tabela única, posso usar algo como - describe <<table_name>> describe extended <<table_name>>Mas não consegui encontrar uma maneira de obter todas as ...
Resultados classificados do scanner hbase
Como recuperar "valores" da família de colunas hbase em qualquer ordem classificada do mesmo? gostar valor da família da coluna --------------------------------- coluna: 1 1 coluna: 3 2 coluna: 4 3 coluna: 2 4