Наконец, вы можете просто сослаться на базу данных в операторе tbl

того, как мне удалось подключиться к нашему (новому) кластеру, используя

 и ИМХО ресурсы, используемые исполнителями, считаются "искровыми ресурсами" ...

Установите последнюю версию devel с GitHub и найдите

я проблема с разделением результатов моего случайного леса, созданного Sparklyr.Я использую следующий код для генерации модели, которая предсказывает {0 | 1}...

SparkR vs sparklyr [закрыто]

Есть ли у кого-нибудь обзор относительно преимуществ / недостатков SparkR по сравнению со sparklyr? Google не дает удовлетворительных результатов, и оба кажу...

Спасибо, сработало!

df <- data.frame(old1 = LETTERS, old2 = 1) df_tbl <- copy_to(sc,df,"df") df_tbl <- df_tbl %>% dplyr::rename(old1 = new1, old2 = new2)ащает: > head(df_tbl) Error: `new1`, `new2` contains unknown variablesЕсть ли простой способ изменить имена ...

Чтение графика из файла

Нужно запустить пример GraphX ​​на моей машине с Windows, используя Spark-Shell из SparklyR, установив Hadoop / Spark. Я могу запустить оболочку из каталога ...

Большое спасибо за ваш ответ. Я думаю, я посмотрю, сработает ли сбор данных в R для моей программы. Если нет, я посмотрю в расширениях Scala.

я есть широкий фрейм данных из нескольких тысяч столбцов примерно на миллион строк, для которого я хотел бы рассчитать итоговые суммы строк. Мое решение пока ниже. Я использовал:dplyr - сумма нескольких столбцов с использованием регулярных ...

spark.rstudio.com/articles/guides-dplyr.html#sql-translation

ичок в sparklyr (но знаком с spark и pyspark), и у меня есть действительно простой вопрос. Я пытаюсь отфильтровать столбец на основе частичного совпадения. В dplyr я бы написал свою операцию так: businesses %>% filter(grepl('test', biz_name)) ...

в

олчанию,spark_read_jdbc() читает всю таблицу базы данных в Spark. Я использовал следующий синтаксис для создания этих соединений. library(sparklyr) library(dplyr) config <- spark_config() config$`sparklyr.shell.driver-class-path` ...

 где я получил некоторый вклад в другие варианты

ался использовать sparklyr для записи данных в hdfs или hive, но не смог найти способ. Можно ли даже записать R-массив данных в hdfs или куст, используя sparklyr? Пожалуйста, обратите внимание, что мой R и hadoop работают на двух разных серверах, ...