Resultados de la búsqueda a petición "apache-spark-1.6"
Spark CrossValidatorModel accede a otros modelos que no sean bestModel?
Estoy usando Spark 1.6.1: Actualmente estoy usando un CrossValidator para entrenar mi ML Pipeline con varios parámetros. Después del proceso de capacitación, puedo usar la propiedad bestModel de CrossValidatorModel para obtener el modelo que ...
¿Dónde está la referencia para las opciones de escritura o lectura por formato?
Yo uso Spark 1.6.1. Estamos tratando de escribir un archivo ORC en HDFS usando HiveContext y DataFrameWriter. Si bien podemos usar df.write().orc(<path>)preferiríamos hacer algo como df.write().options(Map("format" -> "orc", "path" -> ...
udf No TypeTag disponible para type string
No entiendo un comportamiento de chispa. Creo un udf que devuelve un entero como a continuación import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object Show { def main(args: Array[String]): Unit = { ...
¿Cómo usar las funciones collect_set y collect_list en la agregación en ventana en Spark 1.6?
En Spark 1.6.0 / Scala, ¿hay una oportunidad para obtenercollect_list("colC") ocollect_set("colC").over(Window.partitionBy("colA").orderBy("colB")?