Как использовать функцию извлечения с DStream в Apache Spark

установить spark.streaming.kafka.maxRatePerPartition для createDirectStream

Каков максимальный размер вещательного объекта в Spark?

При использовании Dataframeшироковещательный функция или SparkContextшироковещательный функции, какой максимальный размер объекта может быть отправлен всем и...

SPARK-HIVE - ключевые различия между Hive и Parquet с точки зрения обработки схем таблиц

Не удалось преобразовать тип <class 'pyspark.ml.linalg.SparseVector'> в вектор

Учитывая мой pyspark Row объект:

Spark: Несоответствующее число производительности при масштабировании количества ядер

Я делаю простой тест масштабирования на Spark с использованием теста сортировки - от 1 ядра до 8 ядер. Я заметил, что 8 ядер медленнее, чем 1 ядро.

Что означают параметры partitionColumn, lowerBound, upperBound, numPartitions?

При получении данных с SQL Server через соединение JDBC в Spark я обнаружил, что могу установить некоторые параметры распараллеливания, такие как

Свойство spark.yarn.jars - как с этим бороться?

Мои знания в Spark ограничены, и вы прочтете это после прочтения этого вопроса. У меня есть только один узел, и на нем установлены искра, hadoop и пряжа.Я см...

Чтение большого графика с Титана (на HBase) в Spark

Я исследую Titan (на HBase) в качестве кандидата для большой базы данных распределенных графов. Нам требуется как доступ OLTP (быстрые запросы с несколькими ...

Почему не удается присоединиться к «java.util.concurrent.TimeoutException: время ожидания фьючерса истекло после [300 секунд]»?

Я использую Spark 1.5.У меня есть два кадра данных формы: