Результаты поиска по запросу "apache-spark"
Как выполнить модульное тестирование программ PySpark?
Мой текущий подход к тестированию Java / Spark Unit работает (подробноВот) создание экземпляра SparkContext с использованием «local» и выполнение модульных т...
Как импортировать писпарк в анаконду
Я пытаюсь импортировать и использовать
Как я могу создать Spark DataFrame из вложенного массива элемента struct?
Я прочитал файл JSON в Spark. Этот файл имеет следующую структуру:
Как вывести список RDD, определенных в оболочке Spark?
В оболочках «spark-shell» или «pyspark» я создал много RDD, но не смог найти какой-либо способ, с помощью которого я могу перечислить все доступные RDD в мое...
Как выбрать первый ряд каждой группы?
У меня есть DataFrame, сгенерированный следующим образом:
SparkSQL: условная сумма с использованием двух столбцов
Я надеюсь, что вы можете помочь мне с этим. У меня есть DF следующим образом:
Как интегрировать Spark с проектом Scala в IntelliJ IDE?
Я использую IntelliJ IDE для игры со Scala и Spark. В этой IDE я создал проект Scala с объектом Scala (см. Рисунок).Я использовал пример кода регрессии из эт...
Как обновить Spark до более новой версии?
У меня есть виртуальная машина, которая имеет
Запуск файла jar приложения на spark-submit в экземпляре кластера gat dataproc
Я запускаю файл .jar, который содержит все зависимости, которые мне нужны в нем. Одна из этих зависимостей