Resultados da pesquisa a pedido "hadoop"
Usando o Sqoop para importar dados do MySQL para o Hive
Estou usando o Sqoop (versão 1.4.4) para importar dados do MySQL para o Hive. Os dados serão um subconjunto de uma das tabelas, ou seja, poucas colunas de uma tabela. É necessário criar uma tabela no Hive antes da mão. Ou a importação dos dados ...
Hadoop: java.lang.IncompatibleClassChangeError: interface encontrada org.apache.hadoop.mapreduce.JobContext, mas a classe era esperada
Minhas tarefas MapReduce são executadas corretamente quando montadas no Eclipse com todos os possíveis frascos Hadoop e Hive incluídos no projeto Eclipse como dependências. (Esses são os frascos que vêm com o nó único, instalação local ...
Por que “hadoop fs -mkdir” falha com a permissão negada?
Estou usando o Cloudera em uma máquina VM com a qual estou brincando. Infelizmente, estou tendo problemas para copiar dados para o HDFS, e estou obtendo o seguinte: [cloudera@localhost ~]$ hadoop fs -mkdir input mkdir: Permission ...
Sqoop: Não foi possível carregar a exceção do driver mysql
Instalei o Sqoop na minha máquina local. A seguir, estão as informações de configuração. Bash.bashrc: export HADOOP_HOME=/home/hduser/hadoop export HBASE_HOME=/home/hduser/hbase export HIVE_HOME=/home/hduser/hive export ...
Como transpor / girar dados no hive?
Eu sei que não há maneira direta de transpor dados na seção. Eu segui esta pergunta:Existe uma maneira de transpor dados no Hive? [https://stackoverflow.com/questions/18624991/is-there-a-way-to-transpose-data-in-hive] , mas como não há resposta ...
Tabela do Hive retornando conjunto de resultados vazio em todas as consultas
Criei uma tabela do Hive, que carrega dados de um arquivo de texto. Mas seu resultado vazio retornado é definido em todas as consultas. Eu tentei o seguinte comando: CREATE TABLE table2( id1 INT, id2 INT, id3 INT, id4 STRING, id5 INT, id6 ...
Hadoop 2.4 Falha ao executar o objetivo org.apache.maven.plugins: maven-antrun-plugin: 1.7
Estou tentando instalar o Hadoop 2.4.0 a partir da fonte, obtive o seguinte erro, pesquisei no Google, mas não consigo encontrar nenhuma solução. Por favor ajude. Saudações O / S Ubuntu: 12.04 (64 bits) Java: versão java "1.6.0_45" protoc — ...
Lendo arquivo HDFS remoto com Java
Estou com alguns problemas com uma instalação simples do Hadoop. Fiz o download do hadoop 2.4.0 e instalei em um único nó do CentOS Linux (Máquina Virtual). Eu configurei o hadoop para um único nó com pseudo-distribuição, conforme descrito no ...
Use o Spark para listar todos os arquivos em um diretório Hadoop HDFS?
Desejo percorrer todos os arquivos de texto em um diretório do Hadoop e contar todas as ocorrências da palavra "erro". Existe uma maneira de fazer umhadoop fs -ls /users/ubuntu/ listar todos os arquivos em um diretório com a API do Apache Spark ...
O programa Wordcount está preso no hadoop-2.3.0
Instalei o hadoop-2.3.0 e tentei executar o exemplo de contagem de palavras Mas ele inicia o trabalho e fica ocioso hadoop@ubuntu:~$ $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar wordcount ...