Результаты поиска по запросу "apache-spark"
Как отключить научную запись в pyspark?
В результате некоторой агрегации я придумаю следующий sparkdataframe:
Как запустить внешние функции jar в spark-shell
Я создал пакет jar из проекта с помощью этого дерева файлов:
СПС в Spark MLlib и Spark ML
У Spark теперь есть две библиотеки машинного обучения - Spark MLlib и Spark ML. Они в некоторой степени пересекаются в том, что реализовано, но, как я понима...
Лучшая практика для запуска Spark Applications через веб-приложение?
Я хочу представить свои приложения Spark пользователям с помощью веб-приложения.По сути, пользователь может решить, какое действие он хочет выполнить, и ввес...
java.lang.NoClassDefFoundError: org / apache / spark / Logging
Я всегда получаю следующую ошибку. Может кто-нибудь помочь мне, пожалуйста?
Ошибка PySpark: AttributeError: у объекта 'NoneType' нет атрибута '_jvm'
У меня есть набор данных метки времени, который находится в форматеИ я написал udf в pyspark, чтобы обработать этот набор данных и вернуть в качестве карты з...
Spark: saveAsTextFile без сжатия
По умолчанию более новые версии Spark используют сжатие при сохранении текстовых файлов. Например:
Для функций Spark Window требуется HiveContext?
Я пробовал один пример оконной функции на искре из этого блогаhttp://xinhstechblog.blogspot.in/2016/04/spark-window-functions-for-dataframes.html.Получение с...
Можно ли установить глобальные переменные в блокноте Zeppelin?
Я пытаюсь создать панель с несколькими абзацами, используя блокнот Zeppelin. Я бы хотел, чтобы люди, использующие панель инструментов, вводили определенные п...
Spark UDF вызывается более одного раза за запись, когда в DF слишком много столбцов
Я использую Spark 1.6.1 и сталкиваюсь со странным поведением: я запускаю UDF с некоторыми тяжелыми вычислениями (физическими симуляциями) на фрейме данных, с...