Результаты поиска по запросу "sparklyr"

1 ответ

Спасибо, очень полезный ответ

1 ответ

в

олчанию,spark_read_jdbc() читает всю таблицу базы данных в Spark. Я использовал следующий синтаксис для создания этих соединений. library(sparklyr) library(dplyr) config <- spark_config() config$`sparklyr.shell.driver-class-path` ...

1 ответ

Большое спасибо за ваш ответ. Я думаю, я посмотрю, сработает ли сбор данных в R для моей программы. Если нет, я посмотрю в расширениях Scala.

я есть широкий фрейм данных из нескольких тысяч столбцов примерно на миллион строк, для которого я хотел бы рассчитать итоговые суммы строк. Мое решение пока ниже. Я использовал:dplyr - сумма нескольких столбцов с использованием регулярных ...

ТОП публикаций

1 ответ

Чтение графика из файла

Нужно запустить пример GraphX ​​на моей машине с Windows, используя Spark-Shell из SparklyR, установив Hadoop / Spark. Я могу запустить оболочку из каталога ...

1 ответ

 и ИМХО ресурсы, используемые исполнителями, считаются "искровыми ресурсами" ...

1 ответ

Сгенерированный SQL выглядит так, довольно просто, просто долго:

ние Код R написан с использованием пакета Sparklyr для создания схемы базы данных.[Воспроизводимый код и база данных приведены] Существующий результат root |-- contributors : string |-- created_at : string |-- entities (struct) | |-- hashtags ...

2 ответа

ft_regex_tokenizer разделит столбец на векторный тип на основе регулярного выражения. sdf_separate_column разделит это на несколько столбцов.

я есть датафрейм, содержащий столбец с именемCOL который структурирован таким образом:VALUE1 ### VALUE2Следующий код работает

1 ответ

принимая это

я есть набор данных, как показано ниже. Из-за большого объема данных, я загрузил его черезsparklyr пакет, поэтому я могу использовать только операторы трубы. pos <- str_sub(csj$helpful,2) neg1 <- str_sub(csj$helpful,4) csj <- csj ...

1 ответ

@StatsBoy, пожалуйста, примите один из ответов

аюсь подсчитать количество уникальных элементов в каждом столбце в наборе данных искры. Однако кажется, что искра не распознает тали ()k<-collect(s%>%group_by(grouping_type)%>%summarise_each(funs(tally(distinct(.))))) Error: ...

3 ответа

не работает. это не обычный R, это Sparklyr!

я есть несколько раз Unix, которые я конвертирую в метки времени вsparklyr и по некоторым причинам мне также нужно преобразовать их в строки. К сожалению, кажется, что во время преобразования в строкуhive преобразует в EST (мой язык). df_new <- ...