Я пытаюсь понять, как работает Spark. Не могли бы вы сказать мне, где вызывается TextOptions для чтения текстовых файлов при использовании sc.read.text? Я нашел только ссылку для записи текстовых файлов в TextFileFormat, вызываемом из FileFormatWriter
ользую Spark 1.6.1.
Мы пытаемся записать файл ORC в HDFS, используя HiveContext и DataFrameWriter. Пока мы можем использовать
df.write().orc(<path>)
мы бы предпочли сделать что-то вроде
df.write().options(Map("format" -> "orc", "path" -> "/some_path")
Это сделано для того, чтобы у нас была возможность изменять формат или корневой путь в зависимости от приложения, которое использует эту вспомогательную библиотеку. Где мы можем найти ссылку на параметры, которые можно передать в DataFrameWriter? Я ничего не нашел в документах здесь