Это держит. Порядок пунктов в шаблоне соответствия, который вы связали, не имеет значения.
ользую Spark 2.2.0
Я читаю CSV-файл следующим образом:
val dataFrame = spark.read.option("inferSchema", "true")
.option("header", true)
.option("dateFormat", "yyyyMMdd")
.csv(pathToCSVFile)
В этом файле есть один столбец даты, и все записи имеют значение, равное20171001
для этого конкретного столбца.
Проблема в том, что искра выводит, что тип этого столбцаinteger
скорее, чемdate
, Когда я удаляю"inferSchema"
опция, тип этого столбцаstring
.
Здесь нетnull
значения, ни любая неправильно отформатированная строка в этом файле.
Какова причина / решение этой проблемы?