Resultados da pesquisa a pedido "hadoop"
Instalação e configuração do JanusGraph para um cluster Spark e Cassandra
Estou executando o JanusGraph (0.1.0) com Spark (1.6.1) em uma única máquina. Eu fiz minha configuração como descritoaqui [https://stackoverflow.com/questions/40105047/setup-and-configuration-of-titan-for-a-spark-cluster-and-cassandra] . Ao ...
Hadoop no servidor Windows
Estou pensando em usar o hadoop para processar arquivos de texto grandes em meus servidores Windows 2003 existentes (cerca de 10 máquinas quad core com 16 gb de RAM) As perguntas são: Existe algum bom tutorial sobre como configurar um cluster ...
Use combineByKey para obter a saída como (key, iterable [values])
Estou tentando transformarRDD(key,value) paraRDD(key,iterable[value]), igual à saída retornada pelogroupByKey método. Mas comogroupByKey não é eficiente, estou tentando usarcombineByKey no RDD, no entanto, ele não está funcionando. Abaixo está o ...
As junções implícitas do Hive são sempre junções internas?
ojuntar documentação [https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins]para o Hive incentiva o uso de junções implícitas, ou seja, SELECT * FROM table1 t1, table2 t2, table3 t3 WHERE t1.id = t2.id AND t2.id = t3.id AND ...
SPARK SQL falha se não houver um caminho de partição especificado disponível
Estou usando o Hive Metastore no EMR. Consigo consultar a tabela manualmente através do HiveSQL. Mas quando eu uso a mesma tabela no Spark Job, ele dizO caminho de entrada não existe: s3: // Causado por: ...
erro httpfs A categoria de operação READ não é suportada no estado em espera
Estou trabalhando no hadoop apache 2.7.1 e tenho um cluster que consiste em 3 nós nn1 nn2 dn1 nn1 é o dfs.default.name, portanto, é o nó do nome principal. Instalei o httpfs e o iniciei, é claro, após reiniciar todos os serviços. Quando nn1 ...
Comandos Hive External Table vs Internal table
Supondo que eu tenho essas duas tabelas: Externo: create external table emp_feedback ( emp_id int, emp_name string ) LOCATION '/user/hive/warehouse/mydb.db/contacts';interno: create table emp_feedback ( emp_id int, emp_name string ) LOAD DATA ...
Falha intermitente do Hive / Hadoop: Não é possível mover a origem para o destino
Existem alguns artigos sobre SOHive/Hadoop Erro "Não foi possível mover a origem". Muitos deles apontam para um problema de permissão. No entanto, no meu site, vi o mesmo erro, mas tenho certeza de que não está relacionado ao problema de ...
Como usar o comando Sqoop import com --map-column-hive?
Estou tentando fazer o Sqoop dos dados do Teradata para acessar. Pensei em seguir os passos abaixo: 1) Crie uma tabela do Hive com todos os campos obrigatórios no Hue. 2) Usando o comando Sqoop import junto com--map-column-hive atributo ...
Migrar a tabela de seção para o Google BigQuery
Estou tentando criar um tipo de pipeline de dados para migrar minhas tabelas do Hive para o BigQuery. O Hive está sendo executado em um cluster do Hadoop no local. Este é o meu design atual, na verdade, é muito fácil, é apenas um script de ...