Установка textinputformat.record.delimiter в искре
В Spark можно установить некоторые параметры конфигурации hadoop, например, например,
System.setProperty("spark.hadoop.dfs.replication", "1")
Это работает, коэффициент репликации установлен на 1. Предполагая, что это так, я думал, что этот шаблон (предваряющий)spark.hadoop «. к обычному свойству конфигурации hadoop), также будет работать для textinputformat.record.delimiter:
System.setProperty("spark.hadoop.textinputformat.record.delimiter", "\n\n")
Тем не менее, похоже, что искра просто игнорирует эту настройку. Я устанавливаюtextinputformat.record.delimiter
правильно? Есть ли более простой способ настройкиtextinputformat.record.delimiter
, Я хотел бы избежать написания моего собственногоInputFormat
, поскольку мне действительно нужно только получить записи, разделенные двумя символами новой строки.