Resultados da pesquisa a pedido "apache-spark"
Um flatMap com faísca causa uma reprodução aleatória?
O flatMap no spark se comporta como a função de mapa e, portanto, não causa embaralhamento ou desencadeia um embaralhamento. Eu suspeito que isso causa embaralhamento. Alguém pode confirmar?
Registre UDF no SqlContext do Scala para usar no PySpark
É possível registrar um UDF (ou função) escrito em Scala para usar no PySpark? Por exemplo.: val mytable = sc.parallelize(1 to 2).toDF("spam") mytable.registerTempTable("mytable") def addOne(m: Integer): Integer = m + 1 // Spam: 1, 2No Scala, ...
o spark.yarn.driver.memoryOverhead ou spark.yarn.executor.memoryOverhead é usado para armazenar que tipo de dados?
Eu me perguntava que: spark use o spark.yarn.driver.memoryOverhead ou spark.yarn.executor.memoryOverhead para armazenar que tipo de dados?E nesse caso eu deveria aumentar o valor de spark.yarn.driver.memoryOverhead ...
Como selecionar um subconjunto de campos de uma coluna da matriz no Spark?
Digamos que eu tenha um DataFrame da seguinte maneira: case class SubClass(id:String, size:Int,useless:String) case class MotherClass(subClasss: Array[SubClass]) val df = sqlContext.createDataFrame(List( ...
Encontre o mínimo para um registro de data e hora através do grupo Spark
Quando tento agrupar meu quadro de dados em uma coluna, tento encontrar o mínimo para cada agrupamentogroupbyDatafram.min('timestampCol') parece que não posso fazê-lo em colunas não numéricas. Então, como posso filtrar adequadamente a data mínima ...
IllegalAccessError para o StopWatch da goiaba de org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus
Estou tentando executar o aplicativo spark pequeno e estou recebendo a seguinte exceção: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from ...
Como criar um codificador para o construtor do tipo Option, por exemplo Opção [Int]?
É possível usarOption[_] membro de uma classe de caso usada com a API do conjunto de dados? por exemplo.Option[Int] Tentei encontrar um exemplo, mas ainda não consegui encontrar. Provavelmente isso pode ser feito com um codificador personalizado ...
Como usar as funções fornecidas pela classe DataFrameNaFunctions no Spark, em um Dataframe?
Eu tenho um quadro de dados e quero usar um dossubstituir()função de org.apache.spark.sql.DataFrameNaFunctionsnesse quadro de dados. Problema:Eu não recebo esses métodos em inteligência (sugestões) com a instância do dataframe. Eu importei essa ...
MC-Stan no Spark?
Espero usarMC-Stan [http://mc-stan.org/]emFaísca [http://spark.apache.org/], mas parece que não há página relacionada pesquisada pelo Google. Gostaria de saber se essa abordagem é possível no Spark, portanto, eu apreciaria se alguém me ...
API do conjunto de dados Spark - ingressar
Estou tentando usar o SparkConjunto de dados [https://databricks.com/blog/2016/01/04/introducing-spark-datasets.html]API, mas estou tendo alguns problemas ao fazer uma associação simples. Digamos que eu tenho dois conjuntos de dados com ...