Spark 2.1.1

Ну все равно спасибо :)

Да, есть много возможностей для оптимизации правил. Я думаю, это может быть в десять раз быстрее. Я адаптирую ответ, чтобы избежать снижения производительности.

 не могли бы вы помочь мне с этим.

Я пытаюсь понять, как работает Spark. Не могли бы вы сказать мне, где вызывается TextOptions для чтения текстовых файлов при использовании sc.read.text? Я нашел только ссылку для записи текстовых файлов в TextFileFormat, вызываемом из FileFormatWriter

у него 10!

Это замечательно :)

Apack Spark добавляет новую установленную ступень к выходной PipelineModel без повторной подгонки

я два отдельных

@BAE ты пробовал первый метод, который посоветовал Chegpohi?

.sbt:

Другой ответ scala будет выглядеть так:

я есть спарк dataframe и вот схема: