Это держит. Порядок пунктов в шаблоне соответствия, который вы связали, не имеет значения.

ользую Spark 2.2.0

Я читаю CSV-файл следующим образом:

val dataFrame = spark.read.option("inferSchema", "true")
                          .option("header", true)
                          .option("dateFormat", "yyyyMMdd")
                          .csv(pathToCSVFile)

В этом файле есть один столбец даты, и все записи имеют значение, равное20171001 для этого конкретного столбца.

Проблема в том, что искра выводит, что тип этого столбцаinteger скорее, чемdate, Когда я удаляю"inferSchema" опция, тип этого столбцаstring.

Здесь нетnull значения, ни любая неправильно отформатированная строка в этом файле.

Какова причина / решение этой проблемы?

Ответы на вопрос(2)

Ваш ответ на вопрос