В Apache Spark 2.0.0 возможно ли получить запрос из внешней базы данных (а не получить всю таблицу)?

Использование pyspark:

Прочитайте из таблицы улья и запишите обратно, используя spark sql

Я читаю таблицу Hive, используя Spark SQL, и назначаю ее для scala val

Искровое декартово произведение

Я должен сравнить координаты, чтобы получить расстояние. Для этого я загружаю данные с помощью sc.textFile () и создаю декартово произведение. В текстовом фа...

как объединить 3 пары RDD

У меня какое-то сложное требование1) 1) для Pinterest

com.fasterxml.jackson.databind.JsonMappingException: версия Джексона слишком старая 2.5.3

Моя ОС - OS X 10.11.6. Я использую Spark 2.0, Zeppelin 0.6, Scala 2.11Когда я запускаю этот код в Zeppelin, я получаю исключение от Джексона. Когда я запуска...

argmax в Spark DataFrames: как получить строку с максимальным значением

Учитывая Spark DataFrame

В чем разница между пакетами Spark ML и MLLIB

Я заметил, что есть два

Как сбалансировать мои данные по разделам?

редактировать: Ответ помогает, но я описал свое решение в:ошибка памяти в Spark.У меня есть RDD с разделами 202092, который читает набор данных, созданный др...

Влияние на производительность RDD API по сравнению с UDF, смешанными с DataFrame API

SparkR из Rstudio - выдает ошибку в invokeJava (isStatic = TRUE, className, methodName,…):

Я использую RStudio.После создания сеанса, если я пытаюсь создать фрейм данных, используя данные R, это дает ошибку.