devo pré-instalar pacotes cran r nos nós de trabalho ao usar o sparkr

Eu quero usar pacotes r no cran, comoforecast etc com sparkr e encontre dois problemas a seguir.

Devo pré-instalar todos esses pacotes nos nós de trabalho? Mas quando eu li o código fonte do sparkeste ficheiro, parece que o spark automaticamente compactará os pacotes e os distribuirá aos trabalhadores por meio de --jars ou --packages. O que devo fazer para disponibilizar as dependências dos trabalhadores?

Suponha que eu precise usar as funções fornecidas peloforecast em ummap transformação, como devo importar o pacote. Preciso fazer algo como seguir, importar o pacote na função de mapa, ele fará várias importações:SparkR:::map(rdd, function(x){ library(forecast) then do other staffs })

Atualizar:

Depois de ler mais código fonte, parece que posso usarincludePackage para incluir pacotes nos nós de trabalho de acordo comeste ficheiro. Então agora o problema se torna certo que eu tenho que pré-instalar os pacotes nos nós manualmente? E se isso for verdade, qual é o caso de uso para --jars e --packages descritos na pergunta 1? Se estiver errado, como usar --jars e --packages para instalar os pacotes?

questionAnswers(3)

yourAnswerToTheQuestion