Resultados da pesquisa a pedido "aws-glue"

1 a resposta

Planejando a extração de dados do AWS Redshift para S3

Estou tentando criar um trabalho para extrair dados do Redshift e gravar os mesmos dados nos buckets do S3. Até agora, eu explorei o AWS Glue, mas o Glue não é capaz de executar sql's personalizados no redshift. Eu sei que podemos executar ...

1 a resposta

Caminho Json dos classificadores personalizados da AWS Glue

Eu tenho um conjunto de arquivos de dados Json que se parecem com isso [ {"client":"toys", "filename":"toy1.csv", "file_row_number":1, "secondary_db_index":"4050", ...

4 a resposta

Posso testar o código da AWS Glue localmente?

Depois de ler os documentos da Amazon, entendo que a única maneira de executar / testar um script Glue é implantá-lo em um endpoint de desenvolvedor e depurar remotamente, se necessário. Ao mesmo tempo, se o código (Python) consistir em vários ...

1 a resposta

Erro ao usar a tabela INSERT INTO ON KEY DUPLICATE, usando uma matriz de loop for

Estou trabalhando na atualização de um banco de dados mysql usando a estrutura pyspark e executando nos serviços do AWS Glue. Eu tenho um quadro de dados da seguinte maneira: df2= sqlContext.createDataFrame([("xxx1","81A01","TERR ...

3 a resposta

Como configurar um ambiente de desenvolvimento local para que o Scala Spark ETL seja executado no AWS Glue?

Eu gostaria de poder escreverScala no meu IDE local e implante-o no AWS Glue como parte de um processo de construção. Mas estou tendo problemas para encontrar as bibliotecas necessárias para criar oGlueApp esqueleto gerado ...

2 a resposta

Substituir tabelas MySQL com o AWS Glue

Eu tenho um processo lambda que ocasionalmente pesquisa uma API para dados recentes. Esses dados possuem chaves exclusivas e eu gostaria de usar o Glue para atualizar a tabela no MySQL. Existe uma opção para substituir dados usando essa chave? ...