Результаты поиска по запросу "apache-spark"
Какие преобразования Spark вызывают Shuffle?
У меня проблемы с поиском в документации по Spark операций, вызывающих случайное перемешивание, а операций - нет. В этом списке, какие из них вызывают случай...
Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов
Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:
Как конвертировать Scala RDD в карту
У меня есть RDD (массив строк)
Пример работающей искры scala не удался
Я новичок как в Spark, так и в Scala. Я создал проект IntelliJ Scala с SBT и добавил несколько строк в build.sbt.
Ошибка EntityTooLarge при загрузке файла 5G в Amazon S3
Согласно этому ограничению размер файла Amazon S3 должен быть 5Tобъявление, но я получаю следующую ошибку при загрузке файла 5G
Запуск Spark на YARN в режиме кластера пряжи: Куда идет вывод консоли?
Я проследовал за этой страницей и запустил пример приложения SparkPi на YARN в режиме кластера пряжи.http://spark.apache.org/docs/latest/running-on-yarn.html...
Столы Hiveing в свечах
Я установил Hive 0.13 и создал пользовательские базы данных. У меня спарк 1.1.0 кластер с одним узлом построен с использованием опции mvn -hive. Я хочу получ...
Как работает разбиение в Spark?
Я пытаюсь понять, как происходит разбиение в Apache Spark. Ребята, вы можете помочь, пожалуйста?Вот сценарий:мастер и два узла с 1 ядром каждыйфайл
В Spark, как правильно разместить статический объект на всех рабочих?
Я смотрел на документацию для Spark, и она упоминает это:API Spark в значительной степени зависит от передачи функций в программе драйвера для запуска в клас...