Resultados de la búsqueda a petición "scala"
Cómo obtener claves y valores de la columna MapType en SparkSQL DataFrame
Tengo datos en un archivo de parquet que tiene 2 campos:object_id: String yalpha: Map<>. Se lee en un marco de datos en sparkSQL y el esquema se ve así: scala> alphaDF.printSchema() root |-- object_id: string (nullable = true) |-- ALPHA: map ...
Use más de una collect_list en una consulta en Spark SQL
Tengo el siguiente marco de datosdata: root |-- userId: string |-- product: string |-- rating: doubley la siguiente consulta: val result = sqlContext.sql("select userId, collect_list(product), collect_list(rating) from data group by userId")Mi ...
Azúcar de sintaxis: _ * para tratar Seq como parámetros del método
Acabo de notar esta construcción en algún lugar de la web: val list = List(someCollection: _*)Que hace_* ¿media? ¿Es este un azúcar de sintaxis para alguna llamada al método? ¿Qué restricciones debería satisfacer mi clase personalizada para que ...
Realizar una unión escrita en Scala con conjuntos de datos de Spark
Me gustan los conjuntos de datos de Spark, ya que me dan errores de análisis y errores de sintaxis en el momento de la compilación y también me permiten trabajar con getters en lugar de nombres / números codificados. La mayoría de los cálculos se ...
Gatling - ejecuta escenarios secuencialmente
Cuando ejecuto código como: setUp( scenario1.inject(constantUsersPerSec(1) during (1 second)), scenario2.inject(constantUsersPerSec(1) during (1 second)) ).protocol()Ambos escenarios se inician a la vez. ¿Qué hay que cambiar para ejecutarlo uno ...
Diferencia entre ClassTag y TypeTag de scala
Según scala doc, TypeTag contiene más información que ClassTag. Me parece que TypeTag puede hacer más cosas que ClassTag, como llevar la información del parámetro type del tiempo de compilación al tiempo de ejecución, etc. Sin embargo, el ...
¿Cómo agregar una columna al conjunto de datos sin convertir desde un DataFrame y acceder a él?
Conozco el método para agregar una nueva columna a un Spark DataSet usando.withColumn() y unUDF, que devuelve un DataFrame. También soy consciente de que podemos convertir el DataFrame resultante en un DataSet. Mis preguntas son: ¿Cómo entra en ...
Redondeando a 2 decimales en mongodb
Tengo mi colección como Estudiante { "first_name":"Harew", "last_name":"Jackson", "class":14, "fee": [ { "tuition":48500.2456, "transportation":500 } ] }Necesito filtrar estudiante de acuerdo afee = 4500.24 y debe mostrar a todos los ...
¿Por qué scala no unifica este tipo lambda con el tipo subyacente?
trait A { type T def test(t: T): Unit } case class B[S <: A](a: S, t : S#T) { def test() = a.test(t) // Error: type mismatch; // found : B.this.t.type (with underlying type S#T) // required: B.this.a.T }¿Me equivoco al esperar que se compile lo ...
¿Pueden SparkContext y StreamingContext coexistir en el mismo programa?
Estoy tratando de configurar un código de Sparkstreaming que lee la línea del servidor Kafka pero la procesa usando reglas escritas en otro archivo local. Estoy creando streamingContext para los datos de transmisión y sparkContext para otros ...