Estou usando o shift-redshift (https://github.com/databricks/spark-redshift) que usa o avro para transferência.

Ler do Redshift é bom, enquanto escrevo, estou recebendo

Caused by: java.lang.NoSuchMethodError: org.apache.avro.generic.GenericData.createDatumWriter(Lorg/apache/avro/Schema;)Lorg/apache/avro/io/DatumWriter

tentei usar o Amazon EMR 4.1.0 (Spark 1.5.0) e 4.0.0 (Spark 1.4.1). Não pode fazer

import org.apache.avro.generic.GenericData.createDatumWriter

ou apenas

import org.apache.avro.generic.GenericData

Estou usando o shell scala Tentei baixar vários outros frascos avro-mapred e avro, tentei configurar

{"classification":"mapred-site","properties":{"mapreduce.job.user.classpath.first":"true"}},{"classification":"spark-env","properties":{"spark.executor.userClassPathFirst":"true","spark.driver.userClassPathFirst":"true"}}

e adicionando esses jarros para iniciar o caminho da classe. Possivelmente precisa ajustar o Hadoop (EMR) de alguma forma.

Isso soa um sino para alguém?