Результаты поиска по запросу "apache-spark"
Доступ к Spark из приложения Flask
Я написал простое приложение Flask для передачи данных в Spark. Сценарий работает в IPython Notebook, но не тогда, когда я пытаюсь запустить его на своем соб...
Создать Spark DataFrame. Невозможно вывести схему для типа: <тип 'float'>
Может ли кто-нибудь помочь мне решить эту проблему с Spark DataFrame?Когда я делаю
PySpark DataFrames - способ перечисления без преобразования в панды?
У меня очень большойpyspark.sql.dataframe.DataFrame по имени дф. Мне нужен какой-то способ перечисления записей - таким образом, возможность доступа к записи...
Как можно перечислить все CSV-файлы в папке HDFS в оболочке Spark Scala?
Цель этого состоит в том, чтобы манипулировать и сохранять копию каждого файла данных во втором местоположении в HDFS. Я буду использовать
Организация Spark-кода и лучшие практики [закрыто]
Поэтому, проведя много лет в объектно-ориентированном мире с повторным использованием кода, шаблонами проектирования и лучшими практиками, всегда принимаемым...
Конвертировать RDD в итерируемый: PySpark?
У меня есть RDD, который я создаю, загружая текстовый файл и предварительно обрабатывая его. Я не хочу собирать его и сохранять на диск или в память (целые д...
Объект «PipelinedRDD» не имеет атрибута «toDF» в PySpark
Я пытаюсь загрузить файл SVM и преобразовать его в
Spark несколько контекстов
Короче :Кластер EC2: 1 ведущий 3 ведомыхВерсия Spark: 1.3.1Я хочу использовать опциюspark.driver.allowMultipleContextsодин контекст локальный (только ведущий...
в Amazon EMR 4.0.0 настройка /etc/spark/conf/spark-env.conf неэффективна
Я запускаю свой основанный на искре hiveserver2 в Amazon EMR, который имеет дополнительную зависимость от пути к классам. Из-за этой ошибки в Amazon EMR:http...