где я получил некоторый вклад в другие варианты

ался использовать sparklyr для записи данных в hdfs или hive, но не смог найти способ. Можно ли даже записать R-массив данных в hdfs или куст, используя sparklyr? Пожалуйста, обратите внимание, что мой R и hadoop работают на двух разных серверах, ...

Чтение графика из файла

Нужно запустить пример GraphX ​​на моей машине с Windows, используя Spark-Shell из SparklyR, установив Hadoop / Spark. Я могу запустить оболочку из каталога ...

Как повысить производительность медленных заданий Spark с использованием соединения DataFrame и JDBC?

Установите последнюю версию devel с GitHub и найдите

я проблема с разделением результатов моего случайного леса, созданного Sparklyr.Я использую следующий код для генерации модели, которая предсказывает {0 | 1}...

, Ах да, я использую Spark 1.6.0. Я также немного изменил ваш код и заставил его работать на Y. Большое спасибо!

опрос похож на тот, что вВот, но у меня проблемы с реализацией ответа, и я не могу комментировать в этой теме.Итак, у меня есть большой CSV-файл, который сод...

 данные.

я есть стол Spark:

 и ИМХО ресурсы, используемые исполнителями, считаются "искровыми ресурсами" ...

Спасибо, очень полезный ответ

в

олчанию,spark_read_jdbc() читает всю таблицу базы данных в Spark. Я использовал следующий синтаксис для создания этих соединений. library(sparklyr) library(dplyr) config <- spark_config() config$`sparklyr.shell.driver-class-path` ...

Спасибо, сработало!

df <- data.frame(old1 = LETTERS, old2 = 1) df_tbl <- copy_to(sc,df,"df") df_tbl <- df_tbl %>% dplyr::rename(old1 = new1, old2 = new2)ащает: > head(df_tbl) Error: `new1`, `new2` contains unknown variablesЕсть ли простой способ изменить имена ...