Resultados de la búsqueda a petición "apache-pig"
cómo hacer Transponer en las pocas columnas correspondientes en cerdo / colmena
Me preguntaba si es posible realizar la transposición de pocas columnas correspondientes en cerdo / colmena. como tratar con datos obtuve debajo del requisito id jan feb march 1 j1 f1 m1 2 j2 f2 m2 3 j3 f3 m3donde necesito transponerlo contra ...
Si tengo un constructor que requiere una ruta a un archivo, ¿cómo puedo "falsificarlo" si está empaquetado en un jar?
El contexto de esta pregunta es que estoy tratando de usar la api maxmind java en un script de cerdo que he escrito ... Sin embargo, no creo que sea necesario saberlo para responder la pregunta. La API de maxmind tiene un constructor que ...
Especifique la zona horaria en ToDate (unix) en Pig
En mi conjunto de datos tengo fechas en marcas de tiempo Unix. Quiero convertirlos a una fecha y hora en Apache Pig. Para esto puedo usar elToDate() funcionar como se describeaquí [http://pig.apache.org/docs/r0.15.0/func.html#to-date]. Sin ...
ERROR 1066: no se puede abrir el iterador para alias en Pig, solución genérica
Un mensaje de error muy común en Apache Pig es: ERROR 1066: no se puede abrir el iterador para el alias Hay varias preguntas en las que se menciona este error, pero ninguna de ellas ofrece un enfoque genérico para tratarlo. De ahí esta ...
Fusionar múltiples archivos en uno dentro de Hadoop
Obtengo varios archivos pequeños en mi directorio de entrada que quiero fusionar en un solo archivo sin usar el sistema de archivos local ni escribir asignaciones. ¿Hay alguna manera de hacerlo usando los comandos hadoof fs o Pig? ¡Gracias!
¿Cómo analizo JSON en Pig?
Tengo muchos archivos de registro gzip'd en s3 que tiene 3 tipos de líneas de registro: b, c, i. i y c son ambos json de nivel único: {"this":"that","test":"4"}Type b está profundamente anidado json. Me encontré con esteesenci ...
Max / Min para conjuntos completos de registros en PIG
Tengo un conjunto de registros que estoy cargando desde un archivo y lo primero que tengo que hacer es obtener el máximo y mínimo de una columna. En SQL, haría esto con una subconsulta como esta: select c.state, c.population, (select ...
roblema de @strsplit - Pig
Tengo la siguiente tupla H1 y quiero dividir $ 0 en tupla. Sin embargo, siempre recibo un mensaje de error: DUMP H1: (item32;item31;,1) m = FOREACH H1 GENERATE STRSPLIT($0, ";", 50);ERROR 1000: Error durante el análisis. Error léxico en la ...
¿Cómo manejas los archivos de entrada vacíos o faltantes en Apache Pig?
Nuestro flujo de trabajo utiliza un mapa elástico de AWS que reduce el clúster para ejecutar una serie de trabajos de Pig para manipular una gran cantidad de datos en informes agregados. Desafortunadamente, los datos de entrada son potencialmente ...
Ejecutando consulta Pig sobre los datos almacenados en Hive
Me gustaría saber cómo ejecutar consultas de Pig almacenadas en formato Hive. He configurado Hive para almacenar datos comprimidos (usando este ...