Перемещение Spark DataFrame из Python в Scala с помощью Zeppelin

Настройка параметров для неявной модели факторизации матрицы ALS pyspark.ml через pyspark.ml CrossValidator

Задача Spark не сериализуется с помощью функции задержки окна

Я заметил, что после того, как я использую функцию Window над DataFrame, если я вызываю map () с функцией, Spark возвращает исключение «Задача не сериализуем...

Объединить два фрейма данных PySpark

Я пытаюсь объединить два фрейма данных PySpark с некоторыми столбцами, которые есть только в каждом из них:

установка искровых окон winutils

Я пытаюсь установить Spark 1.6.1 на Windows 10, и до сих пор я сделал следующее ...Скачал спарк 1.6.1, распаковал в какой-то каталог и затем установил SPARK_...

Как запустить функцию на всех рабочих Spark перед обработкой данных в PySpark?

Я запускаю задачу Spark Streaming в кластере, используя YARN. Каждый узел в кластере запускает несколько искровых рабочих. Перед началом потоковой передачи я...

Как передать массив [Seq [String]] в apache spark udf? (Ошибка: не применимо)

У меня есть следующий apache spark udf в scala:

Извлечь дату из строкового столбца, содержащего метку времени в Pyspark

У меня есть датафрейм с датой в следующем формате:

Получить список типов данных из схемы в Apache Spark

У меня есть следующий код в Spark-Python, чтобы получить список имен из схемы DataFrame, который работает нормально, но как я могу получить список типов данных?

способы заменить groupByKey в apache Spark

Я хотел бы знать лучший способ заменитьgroupByKey операция с другим.В основном я хотел бы получитьРДД [(целое, список [Measure]), моя ситуация: