Результаты поиска по запросу "apache-spark"

2 ответа

Как сохранить / вставить каждый DStream в постоянную таблицу

Я столкнулся с проблемой с «Spark Streaming» о вставке выходного Dstream впостоянный Таблица SQL. Я хотел бы вставить каждый выходной DStream (исходящий из о...

2 ответа

Spark RDD для DataFrame Python

Я пытаюсь преобразовать Spark RDD в DataFrame. Я видел документацию и пример, где схема передается

1 ответ

Как использовать Spark-Scala для загрузки файла CSV из Интернета?

Мир,Как использовать Spark-Scala для загрузки файла CSV из Интернета и загрузки файла в DataFrame spark-csv?В настоящее время я использую команду curl для по...

ТОП публикаций

1 ответ

Как скомпилировать / упаковать проект Spark 2.0 с внешними jar-файлами и Maven

Начиная с версии 2.0, Apache Spark поставляется с папкой «jars», полной файлов .jar. Очевидно, Maven загрузит все эти банки при выдаче:

1 ответ

Изменение свойства столбца Spark Dataframe

Я хочу изменить свойство Nullable определенного столбца в кадре данных Spark.Если я распечатаю схему информационного кадра в настоящее время, это выглядит та...

1 ответ

Переименование вложенных элементов в Scala Spark Dataframe

У меня есть фрейм данных Spark Scala с вложенной структурой:

8 ответов

Как выполнить объединение двух DataFrames с разным количеством столбцов в спарк?

у меня есть 2

3 ответа

Spark SQL, как взорваться, не теряя нулевые значения

У меня есть датафрейм, который я пытаюсь сплющить. Как часть процесса, я хочу разобрать его, поэтому, если у меня есть столбец массивов, каждое значение масс...

1 ответ

Удаление нескольких столбцов из фрейма данных Spark путем итерации по столбцам из списка имен столбцов Scala

1 ответ

Извлечение раздела таблицы улья в Spark - Java