Результаты поиска по запросу "aws-glue"
Во-вторых, вы можете изменить дизайн вашего json-файла, как показано ниже, а затем снова запустить Crawler. В этом примере я использовал формат Single-JSON-Record-Per-Line.
я есть набор файлов данных Json, которые выглядят так [ {"client":"toys", "filename":"toy1.csv", "file_row_number":1, "secondary_db_index":"4050", "processed_timestamp":1535004075, "processed_datetime":"2018-08-23T06:01:15+0000", ...
+1 Я новичок в Data Pipeline, и это помогло мне понять, как настроить задание для извлечения данных из Redshift в RDS.
аюсь создать задание для извлечения данных из Redshift и записи тех же данных в корзины S3. До сих пор я исследовал AWS Glue, но Glue не способен запускать пользовательские sql на красное смещение. Я знаю, что мы можем запускать команды выгрузки ...
https://docs.aws.amazon.com/glue/latest/dg/dev-endpoint-tutorial-repl.html
ел бы иметь возможность написатьScala в моей локальной IDE, а затем разверните его в AWS Glue как часть процесса сборки. Но у меня возникают проблемы с поиском библиотек, необходимых для созданияGlueApp скелет, сгенерированный ...
Благодарю. Надеюсь, что это будет ссылаться на других.
отаю над обновлением базы данных mysql с использованием pyspark framework и работаю на сервисах AWS Glue. У меня есть датафрейм следующим образом: df2= sqlContext.createDataFrame([("xxx1","81A01","TERR NAME 55","NY"),("xxx2","81A01","TERR NAME ...
Спасибо за обходной путь :) Я чувствую, что они должны это решить
я есть лямбда-процесс, который иногда опрашивает API для последних данных. Эти данные имеют уникальные ключи, и я хотел бы использовать Glue для обновления таблицы в MySQL. Есть ли возможность перезаписать данные с помощью этого ...
Стоит отметить, что когда Glue компилирует вашу работу в Scala, она может немного отличаться от оболочки spark в конечной точке dev (то есть, по крайней мере, предупреждения обрабатываются как фатальные, чего не происходит в оболочке spark).
прочтения документации Amazon я понимаю, что единственный способ запустить / протестировать скрипт Glue - это развернуть его на конечной точке dev и при необходимости выполнить удаленную отладку. В то же время, если (Python) код состоит из ...