Spark 1.5.1 не работает с кустом jdbc 1.2.0

Я пытаюсь выполнить запрос куста, используя spark 1.5.1 в автономном режиме и версию hive 1.2.0 jdbc.Вот мой кусок кода:

Таблицы кустов не найдены при работе в режиме YARN-Cluster

У меня есть приложение Spark (версия 1.4.1) на HDP 2.3. Работает нормально при работе в режиме YARN-Client. Однако при запуске его в режиме YARN-Cluster прил...

Как агрегировать значения в коллекцию после groupBy?

PySpark 1.5 Как урезать метку времени до ближайшей минуты из секунд

Я использую PySpark. У меня есть столбец ('dt') в кадре данных ('canon_evt'), что это метка времени. Я пытаюсь удалить секунды из значения Da...

Spark добавить новый столбец в dataframe со значением из предыдущей строки

Мне интересно, как я могу добиться следующего в Spark (Pyspark)Начальный кадр данных:

Spark SQL - загрузка файлов CSV / PSV с некоторыми искаженными записями

Pyspark разделить столбец на несколько столбцов без панд

Spark SQL - загрузка данных с JDBC с использованием оператора SQL, а не имени таблицы

Применить функцию к каждой строке Spark DataFrame

Я на Спарк 1.3.Я хотел бы применить функцию к каждой строке кадра данных. Эта функция хэширует каждый столбец строки и возвращает список хэшей.

Преобразование сгруппированных данных в стиле Pandas в PySpark DataFrame

Если у нас есть фрейм данных Pandas, состоящий из столбца категорий и столбца значений, мы можем удалить среднее значение в каждой категории, выполнив следую...