, Ах да, я использую Spark 1.6.0. Я также немного изменил ваш код и заставил его работать на Y. Большое спасибо!

опрос похож на тот, что вВот, но у меня проблемы с реализацией ответа, и я не могу комментировать в этой теме.Итак, у меня есть большой CSV-файл, который сод...

@StatsBoy, пожалуйста, примите один из ответов

аюсь подсчитать количество уникальных элементов в каждом столбце в наборе данных искры. Однако кажется, что искра не распознает тали ()k<-collect(s%>%group_by(grouping_type)%>%summarise_each(funs(tally(distinct(.))))) Error: ...

spark.rstudio.com/articles/guides-dplyr.html#sql-translation

ичок в sparklyr (но знаком с spark и pyspark), и у меня есть действительно простой вопрос. Я пытаюсь отфильтровать столбец на основе частичного совпадения. В dplyr я бы написал свою операцию так: businesses %>% filter(grepl('test', biz_name)) ...

Наконец, вы можете просто сослаться на базу данных в операторе tbl

того, как мне удалось подключиться к нашему (новому) кластеру, используя

Сгенерированный SQL выглядит так, довольно просто, просто долго:

ние Код R написан с использованием пакета Sparklyr для создания схемы базы данных.[Воспроизводимый код и база данных приведены] Существующий результат root |-- contributors : string |-- created_at : string |-- entities (struct) | |-- hashtags ...

Установите последнюю версию devel с GitHub и найдите

я проблема с разделением результатов моего случайного леса, созданного Sparklyr.Я использую следующий код для генерации модели, которая предсказывает {0 | 1}...

не работает. это не обычный R, это Sparklyr!

я есть несколько раз Unix, которые я конвертирую в метки времени вsparklyr и по некоторым причинам мне также нужно преобразовать их в строки. К сожалению, кажется, что во время преобразования в строкуhive преобразует в EST (мой язык). df_new <- ...

SparklyR удаляет таблицу из контекста Spark

ft_regex_tokenizer разделит столбец на векторный тип на основе регулярного выражения. sdf_separate_column разделит это на несколько столбцов.

я есть датафрейм, содержащий столбец с именемCOL который структурирован таким образом:VALUE1 ### VALUE2Следующий код работает

принимая это

я есть набор данных, как показано ниже. Из-за большого объема данных, я загрузил его черезsparklyr пакет, поэтому я могу использовать только операторы трубы. pos <- str_sub(csj$helpful,2) neg1 <- str_sub(csj$helpful,4) csj <- csj ...