Resultados da pesquisa a pedido "apache-spark-1.6"
Como usar as funções collect_set e collect_list na agregação de janelas no Spark 1.6?
No Spark 1.6.0 / Scala, há uma oportunidade de obtercollect_list("colC") oucollect_set("colC").over(Window.partitionBy("colA").orderBy("colB")?
Onde está a referência para opções de escrita ou leitura por formato?
Eu uso o Spark 1.6.1. Estamos tentando gravar um arquivo ORC no HDFS usando o HiveContext e o DataFrameWriter. Embora possamos usar df.write().orc(<path>)nós preferimos fazer algo como df.write().options(Map("format" -> "orc", "path" -> ...
O Spark CrossValidatorModel acessa outros modelos que não o bestModel?
Estou usando o Spark 1.6.1: Atualmente, estou usando um CrossValidator para treinar meu ML Pipeline com vários parâmetros. Após o processo de treinamento, posso usar a propriedade bestModel do CrossValidatorModel para obter o Modelo com melhor ...
udf Nenhum TypeTag disponível para o tipo string
Eu não entendo um comportamento de faísca. Crio um udf que retorna um número inteiro como abaixo import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object Show { def main(args: Array[String]): Unit = { ...