Eu tenho um trabalho Spark EMR que precisa ler dados do S3 em uma conta e gravar em outra.
Dividi meu trabalho em duas etapas.

ler dados do S3 (nenhuma credencial é necessária porque meu cluster EMR está na mesma conta).

leia os dados no HDFS local criado pela etapa 1 e grave-os em um bucket S3 em outra conta.

Eu tentei definir ohadoopConfiguration:

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "<your access key>")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","<your secretkey>")

E exportando as chaves no cluster:

$ export AWS_SECRET_ACCESS_KEY=
$ export AWS_ACCESS_KEY_ID=

Eu tentei ambosgrupo ecliente modo, bem comofaísca sem sorte.

Cada um deles retorna um erro:

ERROR ApplicationMaster: User class threw exception: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: 
Access Denied