Resultados da pesquisa a pedido "apache-spark"

3 a resposta

Um flatMap com faísca causa uma reprodução aleatória?

O flatMap no spark se comporta como a função de mapa e, portanto, não causa embaralhamento ou desencadeia um embaralhamento. Eu suspeito que isso causa embaralhamento. Alguém pode confirmar?

2 a resposta

Registre UDF no SqlContext do Scala para usar no PySpark

É possível registrar um UDF (ou função) escrito em Scala para usar no PySpark? Por exemplo.: val mytable = sc.parallelize(1 to 2).toDF("spam") mytable.registerTempTable("mytable") def addOne(m: Integer): Integer = m + 1 // Spam: 1, 2No Scala, ...

1 a resposta

o spark.yarn.driver.memoryOverhead ou spark.yarn.executor.memoryOverhead é usado para armazenar que tipo de dados?

Eu me perguntava que: spark use o spark.yarn.driver.memoryOverhead ou spark.yarn.executor.memoryOverhead para armazenar que tipo de dados?E nesse caso eu deveria aumentar o valor de spark.yarn.driver.memoryOverhead ...

1 a resposta

Como selecionar um subconjunto de campos de uma coluna da matriz no Spark?

Digamos que eu tenha um DataFrame da seguinte maneira: case class SubClass(id:String, size:Int,useless:String) case class MotherClass(subClasss: Array[SubClass]) val df = sqlContext.createDataFrame(List( ...

1 a resposta

Encontre o mínimo para um registro de data e hora através do grupo Spark

Quando tento agrupar meu quadro de dados em uma coluna, tento encontrar o mínimo para cada agrupamentogroupbyDatafram.min('timestampCol') parece que não posso fazê-lo em colunas não numéricas. Então, como posso filtrar adequadamente a data mínima ...

9 a resposta

IllegalAccessError para o StopWatch da goiaba de org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus

Estou tentando executar o aplicativo spark pequeno e estou recebendo a seguinte exceção: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from ...

2 a resposta

Como criar um codificador para o construtor do tipo Option, por exemplo Opção [Int]?

É possível usarOption[_] membro de uma classe de caso usada com a API do conjunto de dados? por exemplo.Option[Int] Tentei encontrar um exemplo, mas ainda não consegui encontrar. Provavelmente isso pode ser feito com um codificador personalizado ...

1 a resposta

Como usar as funções fornecidas pela classe DataFrameNaFunctions no Spark, em um Dataframe?

Eu tenho um quadro de dados e quero usar um dossubstituir()função de org.apache.spark.sql.DataFrameNaFunctionsnesse quadro de dados. Problema:Eu não recebo esses métodos em inteligência (sugestões) com a instância do dataframe. Eu importei essa ...

1 a resposta

MC-Stan no Spark?

Espero usarMC-Stan [http://mc-stan.org/]emFaísca [http://spark.apache.org/], mas parece que não há página relacionada pesquisada pelo Google. Gostaria de saber se essa abordagem é possível no Spark, portanto, eu apreciaria se alguém me ...

3 a resposta

API do conjunto de dados Spark - ingressar

Estou tentando usar o SparkConjunto de dados [https://databricks.com/blog/2016/01/04/introducing-spark-datasets.html]API, mas estou tendo alguns problemas ao fazer uma associação simples. Digamos que eu tenho dois conjuntos de dados com ...