Результаты поиска по запросу "apache-spark"

1 ответ

Как отключить научную запись в pyspark?

В результате некоторой агрегации я придумаю следующий sparkdataframe:

2 ответа

Как запустить внешние функции jar в spark-shell

Я создал пакет jar из проекта с помощью этого дерева файлов:

1 ответ

СПС в Spark MLlib и Spark ML

У Spark теперь есть две библиотеки машинного обучения - Spark MLlib и Spark ML. Они в некоторой степени пересекаются в том, что реализовано, но, как я понима...

ТОП публикаций

2 ответа

Лучшая практика для запуска Spark Applications через веб-приложение?

Я хочу представить свои приложения Spark пользователям с помощью веб-приложения.По сути, пользователь может решить, какое действие он хочет выполнить, и ввес...

11 ответов

java.lang.NoClassDefFoundError: org / apache / spark / Logging

Я всегда получаю следующую ошибку. Может кто-нибудь помочь мне, пожалуйста?

3 ответа

Ошибка PySpark: AttributeError: у объекта 'NoneType' нет атрибута '_jvm'

У меня есть набор данных метки времени, который находится в форматеИ я написал udf в pyspark, чтобы обработать этот набор данных и вернуть в качестве карты з...

1 ответ

Spark: saveAsTextFile без сжатия

По умолчанию более новые версии Spark используют сжатие при сохранении текстовых файлов. Например:

1 ответ

Для функций Spark Window требуется HiveContext?

Я пробовал один пример оконной функции на искре из этого блогаhttp://xinhstechblog.blogspot.in/2016/04/spark-window-functions-for-dataframes.html.Получение с...

2 ответа

Можно ли установить глобальные переменные в блокноте Zeppelin?

Я пытаюсь создать панель с несколькими абзацами, используя блокнот Zeppelin. Я бы хотел, чтобы люди, использующие панель инструментов, вводили определенные п...

2 ответа

Spark UDF вызывается более одного раза за запись, когда в DF слишком много столбцов

Я использую Spark 1.6.1 и сталкиваюсь со странным поведением: я запускаю UDF с некоторыми тяжелыми вычислениями (физическими симуляциями) на фрейме данных, с...