Как повысить производительность медленных заданий Spark с использованием соединения DataFrame и JDBC?

ользую спарк в режиме кластера и читаю данные из RDBMS через JDBC.Согласно искредокументыэти параметры разделения описывают, как разделить таблицу при паралл...

 позже к желаемым типам.

аюсь использоватьструктурированный потоковый подход использование Spark-Streaming на основе API DataFrame / Dataset для загрузки потока данных из Kafka.Я исп...

который может быть использован, как показано ниже

отаю над UDAF, который возвращает массив элементов.Входными данными для каждого обновления является кортеж индекса и значения.UDAF суммирует все значения по ...

Когда вы запускаете приложение из консоли, используя spark-submit, вы можете получить к нему доступ через Java API:

).

).

тоящее время я работаю со Spark 2.1 и имею основной скрипт, который вызывает вспомогательный модуль, который содержит все мои методы преобразования. Другими ...

Спасибо Джеймс. Похоже, что вопрос требует проверки всех различных форматов файлов, источников данных и размеров. Много работы и, конечно, зависит от версии Spark (так как все меняется с каждым выпуском).

 от

тим, у меня есть

Выполнение объединения с диапазоном после биннинга должно быть довольно эффективным.

я есть стол как

Результат проверки:

аюсь найти решение в spark для группировки данных с общим элементом в массиве.