Resultados da pesquisa a pedido "hadoop"
Mestre deve começar com fio, faísca
Estou recebendo esse erro quando é necessário executar o exemplo do SparkPi. beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class ...
avro error no AWS EMR
Estou usando o shift-redshift (https://github.com/databricks/spark-redshift [https://github.com/databricks/spark-redshift]) que usa o avro para transferência. Ler do Redshift é bom, enquanto escrevo, estou recebendo Caused by: ...
Comando shell YARN para obter o número de contêineres e vcores usados pela execução de aplicativos
hadoop job -list parece apenas mostrar trabalhos de redução, mas minha interface do usuário do gerenciador de recursos mostra coisas como "Alocados CPUores" e "Alocados na memória MB" para todos os trabalhos em execução no YARN (incluindo itens ...
Erro do Hadoop no Windows: java.lang.UnsatisfiedLinkError
Sou novo no Hadoop e estou tentando executar meu primeiro trabalho de redução de número de palavras. No entanto, sempre que estou tentando fazer isso, estou recebendo o erro abaixo: java.lang.UnsatisfiedLinkError: ...
Passando credenciais do HBase no oozie Java Action
Preciso agendar uma ação Java oozie que interaja com o hbase seguro, portanto, preciso fornecer credenciais do hbase à ação Java. Estou usando um ambiente protegido do hortonworks 2.2, meu XML de fluxo de trabalho é o seguinte <workflow-app ...
Remover partições vazias do Spark RDD
Estou buscando dados do HDFS e os armazenando em um Spark RDD. O Spark cria o número de partições com base no número de blocos HDFS. Isso leva a um grande número de partições vazias que também são processadas durante a tubulação. Para remover ...
Como funciona o processo de failover do Hadoop Namenode?
O guia definitivo do Hadoop diz: Cada Namenode é executadoum processo leve de controlador de failover, cujo trabalho émonitorar seu Namenode quanto a falhas(usando um mecanismo simples de pulsação) e acionar um failover caso um modo de nome ...
Como o hadoop decide quantos nós mapeará e reduzirá as tarefas
Eu sou novo no hadoop e estou tentando entender. Estou falando do hadoop 2. Quando tenho um arquivo de entrada que gostaria de fazer um MapReduce, no programa MapReduce digo o parâmetro do Split, para que ele execute tantas tarefas de mapa quanto ...
O tipo HTable (config, tablename) está obsoleto. O que usar em vez disso?
O que posso usar em vez deHTable(config,tablename)? Este método está obsoleto. Em todos os exemplos, pude descobrir que eles usam esse ou outro Constuctor, que também está obsoleto.
Lista de pastas do Spark Scala no diretório
Quero listar todas as pastas em um diretório hdfs usando o Scala / Spark. No Hadoop, posso fazer isso usando o comando:hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/ Eu tentei com: val conf = new Configuration() val fs = ...