Resultados de la búsqueda a petición "aws-glue"
¿Puedo probar el código de AWS Glue localmente?
Después de leer los documentos de Amazon, entiendo que la única forma de ejecutar / probar un script de Glue es implementarlo en un punto final de desarrollo y depurarlo de forma remota si es necesario. Al mismo tiempo, si el código (Python) ...
¿Cómo configurar un entorno de desarrollo local para que Scala Spark ETL se ejecute en AWS Glue?
Me gustaría poder escribirScala en mi IDE local y luego implementarlo en AWS Glue como parte de un proceso de compilación. Pero tengo problemas para encontrar las bibliotecas necesarias para construir elGlueApp esqueleto generado por ...
Sobrescribir tablas MySQL con AWS Glue
Tengo un proceso lambda que ocasionalmente sondea una API para datos recientes. Estos datos tienen claves únicas, y me gustaría usar Glue para actualizar la tabla en MySQL. ¿Existe una opción para sobrescribir datos usando esta clave? (Similar al ...
Programación de extracción de datos de AWS Redshift a S3
Estoy tratando de crear un trabajo para extraer datos de Redshift y escribir los mismos datos en cubos S3. Hasta ahora he explorado AWS Glue, pero Glue no es capaz de ejecutar sql personalizados en desplazamiento al rojo. Sé que podemos ejecutar ...
Error al usar la tabla INSERT INTO ON DUPLICATE KEY, utilizando una matriz de bucle for
Estoy trabajando en actualizar una base de datos mysql usando pyspark framework y ejecutándome en los servicios de AWS Glue. Tengo un marco de datos de la siguiente manera: df2= sqlContext.createDataFrame([("xxx1","81A01","TERR ...
AWS Glue Clasificadores personalizados Json Path
Tengo un conjunto de archivos de datos Json que se parecen a este [ {"client":"toys", "filename":"toy1.csv", "file_row_number":1, "secondary_db_index":"4050", "processed_timestamp":1535004075, "processed_datetime":"2018-08-23T06:01:15+0000", ...