Resultados da pesquisa a pedido "hadoop"
manipulação de caractere de nova linha na seção
Eu criei uma tabela no hive como Create table(id int, Description String)Meus dados têm a seguinte aparência: 1|This will return corrupt data since there is a ',' in the first string. some text Change the data 2|There is prob in reading data ...
Como converter uma seqüência de caracteres em carimbo de data / hora com milissegundos no Hive
Eu tenho uma string '20141014123456789' que representa um registro de data e hora com milissegundos que preciso converter para um registro de data e hora no Hive (0.13.0) sem perder os milissegundos. Eu tentei isso, mas unix_timestamp retorna um ...
Acessando tabelas do Hive com faísca
Eu tenho a instalação do Hive 0.13 e criei bancos de dados personalizados. Eu tenho o cluster de nó único do spark 1.1.0, criado usando a opção mvn -hive. Eu quero acessar tabelas neste banco de dados no aplicativo spark usando o hivecontext. Mas ...
Exceção no encadeamento "main" java.lang.NoClassDefFoundError: org / apache / hadoop / hbase / HBaseConfiguration
Estou usando o Hadoop 1.0.3 e o HBase 0.94.22. Estou tentando executar um programa mapeador para ler valores de uma tabela Hbase e enviá-los para um arquivo. Eu estou recebendo o seguinte erro: Exception in thread "main" ...
Google Analytics - Obtendo registros de dados brutos
Eu tenho um aplicativo que envia dados para o Google Analytics. Estou interessado em acessar e armazenar esses dados em um cluster Hadoop. Eu estou supondo que esses dados brutos estarão na forma de logs. Em particular, eu gostaria de ver o ...
É possível executar tarefas do Hadoop (como a amostra do WordCount) no modo local no Windows sem o Cygwin?
Eu tenho o Windows 7, Java 8, Maven e Eclipse. Eu criei um projeto Maven e usei quase exatamente o mesmo código queaqui [https://github.com/alexcpn/WordCountHadoop2]. É apenas uma amostra simples de "contagem de palavras". Tento iniciar o ...
Carregar matriz JSON no Pig
Eu tenho um arquivo json com o seguinte formato [ { "id": 2, "createdBy": 0, "status": 0, "utcTime": "Oct 14, 2014 4:49:47 PM", "placeName": "21/F, Cunningham Main Rd, Sampangi Rama NagarBengaluruKarnatakaIndia", "longitude": 77.5983817, ...
Acessando um arquivo que está sendo gravado
You use the hadoop fs –put command to write a 300 MB file using and HDFS block size of 64 MB. Just after this command has finished writing 200 MB of this file, what would another user see when trying to access this file? a.) They would see Hadoop ...
O Hive pode recursivamente descer para subdiretórios sem partições ou editar o hive-site.xml?
Eu tenho alguns logs do servidor da web que gostaria de consultar com o Hive. A estrutura de diretórios, no HDFS, fica assim: /data/access/web1/2014/09 /data/access/web1/2014/09/access-20140901.log [... etc ...] /data/access/web1/2014/10 ...
Alterar o tamanho do bloco do arquivo dfs
Atualmente, meu mapa é ineficiente ao analisar um conjunto específico de arquivos (um total de 2 TB). Gostaria de alterar o tamanho do bloco de arquivos nos dfs do Hadoop (de 64 MB para 128 MB). Não consigo encontrar como fazê-lo na documentação ...