Resultados da pesquisa a pedido "hadoop"
Hadoop MapReduce: número padrão de mapeadores
Se eu não especificar o número de mapeadores, como o número seria determinado? Existe uma configuração padrão lida de um arquivo de configuração (como mapred...
Acessar arquivos que começam com sublinhado no apache spark
Estou tentando acessar arquivos gz no s3 que começam com_ no Apache Spark. Infelizmente o spark considera esses arquivos invisíveis e retornaInput path does not exist: s3n:.../_1013.gz. Se eu remover o sublinhado, ele encontrará o arquivo muito ...
hadoop: diferença entre 0 redutor e redutor de identidade?
Eu estou apenas tentando confirmar minha compreensão da diferença entre 0 redutor e redutor de identidade.0 redutor significa reduzir o passo será ignorado e...
erro aleatório: excedido max_failed_unique_matche: socorrendo
Eu sou novo no hadoop e estou tentando executar o exemplo da contagem de palavras. Eu tenho um cluster de 4 nós feitos por máquinas virtuais no meu computado...
Por que precisamos do ZooKeeper na pilha do Hadoop?
Eu sou novo no Hadoop / ZooKeeper. Não consigo entender o propósito de usar o ZooKeeper com o Hadoop, o ZooKeeper está gravando dados no Hadoop? Se não, entã...
Leia de uma tabela de colméia e escreva de volta usando spark sql
Estou lendo uma tabela do Hive usando o Spark SQL e atribuindo-a a um scala val val x = sqlContext.sql("select * from some_table")Então, estou fazendo algum processamento com o dataframe x e finalmente criando um dataframe y, que tem o esquema ...