Resultados de la búsqueda a petición "hive"
¿Cómo insertar datos en una tabla Hive (0.13.1)?
Estoy usando Hive versión 0.13.1. Al intentar insertar datos en una tabla existente, aparece un error al usar la siguiente consulta: CREATE TABLE table1 (order_num int, payment_type varchar(20), category varchar(20)); INSERT INTO TABLE table1 ...
Dejar caer particiones múltiples en Impala / Hive
1- Estoy tratando de eliminar varias particiones a la vez, pero estoy luchando por hacerlo con Impala o Hive. Intenté la siguiente consulta, con y sin': ALTER TABLE cz_prd_corrti_st.s1mme_transstats_info DROP IF EXISTS ...
Migrar tabla de colmena a Google BigQuery
Estoy tratando de diseñar una especie de canalización de datos para migrar mis tablas de Hive a BigQuery. Hive se ejecuta en un clúster Hadoop on premise. Este es mi diseño actual, en realidad, es muy fácil, es solo un script de shell: para cada ...
¿Cómo se envían las consultas sql de la colmena como mr job desde hive cli?
He implementado un clúster CDH-5.9 con MR como motor de ejecución de colmena. Tengo una tabla de colmena llamada "usuarios" con 50 filas. Cada vez que ejecuto la consultaselect * from users funciona bien de la siguiente manera: hive> select * ...
Spark sin Hadoop: no se pudo iniciar
Estoy ejecutando Spark 2.1.0, Hive 2.1.1 y Hadoop 2.7.3 en Ubuntu 16.04. Descargo el proyecto Spark de github y construyo la versión "sin hadoop": ./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn, proporcionado por hadoop, ...
cuántos mapeadores y reductores se crearán para una tabla dividida en colmena
Siempre estoy confundido sobre cuántos mapeadores y reductores se crearán para una tarea particular en la colmena. por ejemplo, si el tamaño del bloque = 128 mb y hay 365 archivos cada uno se asigna a una fecha en un año (tamaño del archivo = 1 ...
Crear una sección de tabla externa, la ubicación contiene varios archivos dentro
CREATE EXTERNAL TABLE IF NOT EXISTS LOGS (LGACT STRING,NTNAME STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/user/hive/warehouse/LOGS/test';En la carpeta 'prueba', estoy escribiendo archivos a diario. por ...
¿Cómo eliminar duplicados en la cadena de la colmena?
Tengo una columna (cadena) separada por comas con valores duplicados. Quiero eliminar duplicados: p.ej. nombre_columna ----------------- pistola, pistola, hombre, pistola, hombre lanzadera, enemigo, enemigo, correr golpear, perseguir Quiero un ...
¿Por qué un trabajo de mapa solo en la colmena da como resultado un solo archivo de salida
Cuando ejecuto la siguiente consulta, obtengo solo un archivo como salida, aunque tengo 8 mapeadores y 0 reductores. create table table_2 as select * from table_1.Se invocan 8 mapeadores y no hay fase reductora. Solo hay un archivo en la ...
¿Cómo eliminar registros duplicados de la tabla Hive?
Estoy tratando de aprender a eliminar registros duplicados de una tabla de Hive. Mi tabla Hive: 'dynpart' con columnas: Id, Nombre, Tecnología Id Name Technology 1 Abcd Hadoop 2 Efgh Java 3 Ijkl MainFrames 2 Efgh Java Tenemos opciones como ...