Resultados da pesquisa a pedido "hive"
Configurando o Spark como mecanismo de execução padrão para o Hive
Hadoop 2.7.3, Spark 2.1.0 e Hive 2.1.1. Estou tentando definir o spark como mecanismo de execução padrão para o hive. Carreguei todos os frascos em $ SPARK_HOME / jars na pasta hdfs e copiei os frascos comuns de scala-library, spark-core e ...
Como excluir registros duplicados da tabela do Hive?
Estou tentando aprender sobre a exclusão de registros duplicados de uma tabela do Hive. Tabela My Hive: 'dynpart' com colunas: Id, Nome, Tecnologia Id Name Technology 1 Abcd Hadoop 2 Efgh Java 3 Ijkl MainFrames 2 Efgh JavaTemos opções como ...
Podemos usar várias sessões de sparks para acessar dois servidores Hive diferentes
Eu tenho um cenário para comparar duas tabelas diferentes de origem e destino de dois servidores de seção remota separados, podemos usar doisSparkSessions algo como eu tentei abaixo: - val spark = SparkSession.builder().master("local") ...
Como inserir dados em uma tabela do Hive (0.13.1)?
Estou usando o Hive versão 0.13.1. Ao tentar inserir dados em uma tabela existente, ocorre um erro ao usar a consulta abaixo: CREATE TABLE table1 (order_num int, payment_type varchar(20), category varchar(20)); INSERT INTO TABLE table1 VALUES ...
As junções implícitas do Hive são sempre junções internas?
ojuntar documentação [https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins]para o Hive incentiva o uso de junções implícitas, ou seja, SELECT * FROM table1 t1, table2 t2, table3 t3 WHERE t1.id = t2.id AND t2.id = t3.id AND ...
SPARK SQL falha se não houver um caminho de partição especificado disponível
Estou usando o Hive Metastore no EMR. Consigo consultar a tabela manualmente através do HiveSQL. Mas quando eu uso a mesma tabela no Spark Job, ele dizO caminho de entrada não existe: s3: // Causado por: ...
Comandos Hive External Table vs Internal table
Supondo que eu tenho essas duas tabelas: Externo: create external table emp_feedback ( emp_id int, emp_name string ) LOCATION '/user/hive/warehouse/mydb.db/contacts';interno: create table emp_feedback ( emp_id int, emp_name string ) LOAD DATA ...
Falha intermitente do Hive / Hadoop: Não é possível mover a origem para o destino
Existem alguns artigos sobre SOHive/Hadoop Erro "Não foi possível mover a origem". Muitos deles apontam para um problema de permissão. No entanto, no meu site, vi o mesmo erro, mas tenho certeza de que não está relacionado ao problema de ...
Como usar o comando Sqoop import com --map-column-hive?
Estou tentando fazer o Sqoop dos dados do Teradata para acessar. Pensei em seguir os passos abaixo: 1) Crie uma tabela do Hive com todos os campos obrigatórios no Hue. 2) Usando o comando Sqoop import junto com--map-column-hive atributo ...
Migrar a tabela de seção para o Google BigQuery
Estou tentando criar um tipo de pipeline de dados para migrar minhas tabelas do Hive para o BigQuery. O Hive está sendo executado em um cluster do Hadoop no local. Este é o meu design atual, na verdade, é muito fácil, é apenas um script de ...