Установка textinputformat.record.delimiter в искре

В Spark можно установить некоторые параметры конфигурации hadoop, например, например,

System.setProperty("spark.hadoop.dfs.replication", "1")

Это работает, коэффициент репликации установлен на 1. Предполагая, что это так, я думал, что этот шаблон (предваряющий)spark.hadoop «. к обычному свойству конфигурации hadoop), также будет работать для textinputformat.record.delimiter:

System.setProperty("spark.hadoop.textinputformat.record.delimiter", "\n\n")

Тем не менее, похоже, что искра просто игнорирует эту настройку. Я устанавливаюtextinputformat.record.delimiter правильно? Есть ли более простой способ настройкиtextinputformat.record.delimiter, Я хотел бы избежать написания моего собственногоInputFormat, поскольку мне действительно нужно только получить записи, разделенные двумя символами новой строки.

Ответы на вопрос(1)

Ваш ответ на вопрос