Resultados da pesquisa a pedido "aws-glue"
Planejando a extração de dados do AWS Redshift para S3
Estou tentando criar um trabalho para extrair dados do Redshift e gravar os mesmos dados nos buckets do S3. Até agora, eu explorei o AWS Glue, mas o Glue não é capaz de executar sql's personalizados no redshift. Eu sei que podemos executar ...
Caminho Json dos classificadores personalizados da AWS Glue
Eu tenho um conjunto de arquivos de dados Json que se parecem com isso [ {"client":"toys", "filename":"toy1.csv", "file_row_number":1, "secondary_db_index":"4050", ...
Posso testar o código da AWS Glue localmente?
Depois de ler os documentos da Amazon, entendo que a única maneira de executar / testar um script Glue é implantá-lo em um endpoint de desenvolvedor e depurar remotamente, se necessário. Ao mesmo tempo, se o código (Python) consistir em vários ...
Erro ao usar a tabela INSERT INTO ON KEY DUPLICATE, usando uma matriz de loop for
Estou trabalhando na atualização de um banco de dados mysql usando a estrutura pyspark e executando nos serviços do AWS Glue. Eu tenho um quadro de dados da seguinte maneira: df2= sqlContext.createDataFrame([("xxx1","81A01","TERR ...
Como configurar um ambiente de desenvolvimento local para que o Scala Spark ETL seja executado no AWS Glue?
Eu gostaria de poder escreverScala no meu IDE local e implante-o no AWS Glue como parte de um processo de construção. Mas estou tendo problemas para encontrar as bibliotecas necessárias para criar oGlueApp esqueleto gerado ...
Substituir tabelas MySQL com o AWS Glue
Eu tenho um processo lambda que ocasionalmente pesquisa uma API para dados recentes. Esses dados possuem chaves exclusivas e eu gostaria de usar o Glue para atualizar a tabela no MySQL. Existe uma opção para substituir dados usando essa chave? ...