Спасибо:). Все еще не получил никакого ответа для нового / старого. Можете ли вы помочь мне. Спасибо.
ытался разобрать XML в spark 2.2 с java 1.8, но это не дает ожидаемого набора данных.
образец xml -
<?xml version="1.0" encoding="UTF-8"?>
<RECORD>
<PROP NAME="product.url">
<PVAL>url1</PVAL>
</PROP>
<PROP NAME="product.id">
<PVAL>123</PVAL>
</PROP>
<PROP NAME="product.language">
<PVAL>english</PVAL>
</PROP>
</RECORD>
Код, который я пробовал -
Dataset<RecordSet> xmlParse = spark
.read()
.format("com.databricks.spark.xml")
//.option("rootTag", "RECORDS")
.option("rowTag", "RECORD")
.load("sample.xml");
xmlParse.printSchema()
root
|-- PROP: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- PVAL: string (nullable = true)
| | |-- _NAME: string (nullable = true)
xmlParse.show
|PROP
+-------------------------------------------
|[[urlvalue,product.url],[123,product.id],[English,product.language]] |
Ожидаемый набор данных / фрейм данных: -
product.url|product.id|product.language
urlvalue |123 |English