ft_regex_tokenizer разделит столбец на векторный тип на основе регулярного выражения. sdf_separate_column разделит это на несколько столбцов.

я есть датафрейм, содержащий столбец с именемCOL который структурирован таким образом:VALUE1 ### VALUE2Следующий код работает

spark.rstudio.com/articles/guides-dplyr.html#sql-translation

ичок в sparklyr (но знаком с spark и pyspark), и у меня есть действительно простой вопрос. Я пытаюсь отфильтровать столбец на основе частичного совпадения. В dplyr я бы написал свою операцию так: businesses %>% filter(grepl('test', biz_name)) ...

Наконец, вы можете просто сослаться на базу данных в операторе tbl

того, как мне удалось подключиться к нашему (новому) кластеру, используя

Установите последнюю версию devel с GitHub и найдите

я проблема с разделением результатов моего случайного леса, созданного Sparklyr.Я использую следующий код для генерации модели, которая предсказывает {0 | 1}...

Спасибо, очень полезный ответ

 данные.

я есть стол Spark:

, Ах да, я использую Spark 1.6.0. Я также немного изменил ваш код и заставил его работать на Y. Большое спасибо!

опрос похож на тот, что вВот, но у меня проблемы с реализацией ответа, и я не могу комментировать в этой теме.Итак, у меня есть большой CSV-файл, который сод...

Как повысить производительность медленных заданий Spark с использованием соединения DataFrame и JDBC?

принимая это

я есть набор данных, как показано ниже. Из-за большого объема данных, я загрузил его черезsparklyr пакет, поэтому я могу использовать только операторы трубы. pos <- str_sub(csj$helpful,2) neg1 <- str_sub(csj$helpful,4) csj <- csj ...

 где я получил некоторый вклад в другие варианты

ался использовать sparklyr для записи данных в hdfs или hive, но не смог найти способ. Можно ли даже записать R-массив данных в hdfs или куст, используя sparklyr? Пожалуйста, обратите внимание, что мой R и hadoop работают на двух разных серверах, ...