Resultados da pesquisa a pedido "hadoop"
Transformações Spark + Scala, sobrecarga de imutabilidade e consumo de memória
Passei por alguns vídeos no Youtube sobreFaísca [https://www.youtube.com/watch?v=65aV15uDKgA]arquitetura. Embora a avaliação preguiçosa, a resiliência da criação de dados em caso de falhas, bons conceitos de programação funcional sejam razões ...
Como agrupar a saída mongodb - mapReduce?
Eu tenho uma consulta sobre a estrutura mapReduce no mongodb, então eu tenho um resultado do par de valores-chave da função mapReduce, agora eu quero executar a consulta nesta saída do mapReduce. Então, eu estou usando o mapReduce para descobrir ...
java.lang.RuntimeException: Não foi possível instanciar org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Eu tenho as versões Hadoop 2.7.1 e apache-hive-1.2.1 instaladas no ubuntu 14.0. Por que esse erro está ocorrendo?É necessária alguma instalação do metastore?Quando digitamos o comando hive no terminal, como os xml são chamados internamente, qual ...
Mesclando vários arquivos em um no Hadoop
Eu recebo vários arquivos pequenos no meu diretório de entrada, que desejo mesclar em um único arquivo, sem usar o sistema de arquivos local ou escrever mapreds. Existe uma maneira de fazê-lo usando os comandos hadoof fs ou Pig? Obrigado!
Como adicionar um arquivo de configuração typesafe localizado no HDFS para envio por spark (modo de cluster)?
Eu tenho um aplicativo Spark (Spark 1.5.2) que transmite dados do Kafka para o HDFS. Meu aplicativo contém dois arquivos de configuração Typesafe para configurar certas coisas, como o tópico Kafka etc. Agora eu quero executar meu aplicativo com ...
Leitura no arquivo csv como dataframe de hdfs
Estou usando o pydoop para ler um arquivo de hdfs e quando uso: import pydoop.hdfs as hd with hd.open("/home/file.csv") as f: print f.read()Ele me mostra o arquivo no stdout. Existe alguma maneira de eu ler esse arquivo como dataframe? Eu ...
Problemas de instalação do Hive: o banco de dados do metastore do Hive não foi inicializado
Tentei instalar o hive em um raspberry pi 2. Instalei o Hive descompactando o pacote zipado do Hive e configurei $ HADOOP_HOME e $ HIVE_HOME manualmente no grupo de usuários hduser que criei. Ao executar o hive, recebi a seguinte mensagem de ...
Spark: verifique a interface do usuário do cluster para garantir que os trabalhadores estejam registrados
Eu tenho um programa simples no Spark: /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val conf = ...
Hadoop:… seja replicado para 0 nós em vez de minReplication (= 1). Existem 1 (s) tipo (s) de dados em execução e nenhum (s) nó (s) são excluídos nesta operação
Estou recebendo o seguinte erro ao tentar gravar no HDFS como parte do meu aplicativo multithread could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this ...
permissões de arquivo de usuário hadoop
Eu tenho um problema ao definir permissões de arquivo hadoop no hortonworks e cloudera. Minha exigência é: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case /user/myuser ...