Como escrever um objeto de conjunto de dados para se destacar no spark java?
Estou lendo o arquivo excel usandocom.crealytics.spark.excel pacote. Abaixo está o código para ler um arquivo excel no spark java.
Dataset<Row> SourcePropertSet = sqlContext.read()
.format("com.crealytics.spark.excel")
.option("location", "D:\\5Kto10K.xlsx")
.option("useHeader", "true")
.option("treatEmptyValuesAsNulls", "true")
.option("inferSchema", "true")
.option("addColorColumns", "false")
.load("com.databricks.spark.csv");
Mas tentei com o mesmo(com.crealytics.spark.excel) pacote para gravar o objeto do conjunto de dados em um arquivo excel no spark java.
SourcePropertSet.write()
.format("com.crealytics.spark.excel")
.option("useHeader", "true")
.option("treatEmptyValuesAsNulls", "true")
.option("inferSchema", "true")
.option("addColorColumns", "false").save("D:\\resultset.xlsx");
Mas eu estou ficando abaixo do erro.
java.lang.RuntimeException: com.crealytics.spark.excel.DefaultSource não permite criar tabela como select.
E até eu tentei comorg.zuinnote.spark.office.excel pacote também. abaixo está o código para isso.
SourcePropertSet.write()
.format("org.zuinnote.spark.office.excel")
.option("write.locale.bcp47", "de")
.save("D:\\result");
eu adicionei as seguintes dependências no meupom.xml
<dependency>
<groupId>com.github.zuinnote</groupId>
<artifactId>hadoopoffice-fileformat</artifactId>
<version>1.0.0</version>
</dependency>
<dependency>
<groupId>com.github.zuinnote</groupId>
<artifactId>spark-hadoopoffice-ds_2.11</artifactId>
<version>1.0.3</version>
</dependency>
Mas estou ficando abaixo do erro.
java.lang.IllegalAccessError: tentou acessar o método org.zuinnote.hadoop.office.format.mapreduce.ExcelFileOutputFormat.getSuffix (Ljava / lang / String;) Ljava / lang / String; da classe org.zuinnote.spark.office.excel.ExcelOutputWriterFactory
Por favor, ajude-me a escrever o objeto do conjunto de dados em um arquivo excel no spark java.