Результаты поиска по запросу "apache-spark"
Конфигурация искры: SPARK_MEM против SPARK_WORKER_MEMORY
В spark-env.sh можно настроить следующие переменные среды: # - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g) export SPARK_WORKER_MEMORY=22g [...] # - SPARK_MEM, to change the amount of memory used per node (this should # be ...
множественная ошибка SparkContexts в учебнике
Я пытаюсь запустить самый базовый учебник по pyspark Spark + Python - см.http://spark.apache.org/docs/0.9.0/quick-start.htmlКогда я пытаюсь инициализировать ...
запуск скрипта pyspark на EMR
В настоящее время я автоматизирую свои скрипты Apache Spark Pyspark, используя кластеры EC2, используя предварительно настроенный каталог Sparks ./ec2. В цел...
Как мне запустить graphx с Python / pyspark?
Я пытаюсь запустить Spark graphx с Python, используя pyspark. Моя установка кажется правильной, так как я в состоянии запустить учебники pyspark и (Java) Gra...
Spark Context Textfile: загрузить несколько файлов
Мне нужно обработать несколько файлов, разбросанных по разным каталогам. Я хотел бы загрузить все это в одном RDD, а затем выполнить карту / уменьшить его. Я...
Получение идентификатора запуска приложения для задания Spark
Я хотел бы, откуда я запускаю работу Spark, получить уникальный идентификатор этой работы.Через веб-сайт главного узла Spark я вижу этот идентификатор. Это ч...
Использовать Spark для отображения всех файлов в каталоге Hadoop HDFS?
Я хочу просмотреть все текстовые файлы в каталоге Hadoop и посчитать все вхождения слова «ошибка». Есть ли способ сделать
В чем разница между разделом RDD и срезом?
Руководство по программированию Spark упоминает срезы как функцию RDD (как параллельных коллекций, так и наборов данных Hadoop.) («Spark запускает одну задач...
Установка Apache Spark в Windows
Мне нужно установитьApache Spark на машине с Windows. Согласно документации, я должен установить sbt на мою машину, а также переопределить параметры по умолч...