Resultados de la búsqueda a petición "scala"
org.apache.spark.SparkException: tarea no serializable
Este es un ejemplo de código de trabajo: JavaPairDStream<String, String> messages = KafkaUtils.createStream(javaStreamingContext, zkQuorum, group, topicMap); messages.print(); JavaDStream<String> lines = messages.map(new Function<Tuple2<String, ...
¿Cómo pruebo a un actor de Akka que envía un mensaje a otro actor?
Estoy usando ScalaTest con Akka TestKit para escribir pruebas de unidad e integración para un actor que he codificado para simplemente enviar un mensaje a otro actor sin mutar ningún estado interno. Toma esto por ejemplo: class MyActor extends ...
¿Cómo manejar el tiempo de espera de respuesta?
En el enrutamiento akka-http puedo volverFuture como una respuesta que se convierte implícitamente enToResponseMarshaller. ¿Hay alguna manera de manejar el tiempo de espera de este futuro? O tiempo de espera de conexión en el nivel de ruta? O ...
Mapas de Scala -> operador
¿Qué significa el símbolo-> significa en el contexto de unMap en Scala? ScalaPredef La clase ofrece una conversión implícita que permite escribirkey -> value como una sintaxis alternativa para el par(key, value). Lo leí en ScalaByExample pero no ...
¿Por qué Scala aplica thunks automáticamente, a veces?
Justo después de las 2:40 enShadowofCatron [http://www.youtube.com/user/ShadowofCatron]'sVideo de Scala Tutorial 3 [http://www.youtube.com/watch?v=R3gh9jIIbME], se señala que elparéntesis después del nombre de ...
¿Cómo cambiar los tipos de columna en el DataFrame de Spark SQL?
Supongamos que estoy haciendo algo como: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: ...
Tipo de parámetro de tipo de tiempo de ejecución de rasgo a través de TypeTag cuando se usa con tipo existencial en Scala
yo tengotrait con parámetro de tipo Para obtener el tipo de tiempo de ejecución que usoTypeTag. Sin embargo, cuando estotrait (y sus clases) se usan conexistential type en una colección, p.List oMap, TypeTag está perdido". Aquí hay un ejemplo de ...
Convierta una variable en un tipo de tiempo de ejecución de TypeCast con tipo existencial en Scala
Este hilo [https://stackoverflow.com/questions/29380839/trait-runtime-type-of-type-parameter-through-typetag-when-used-with-existential] abordó cómo usarTypeTag para obtener parámetros de tipo de tiempo de ejecución cuando se usa conExistential ...
Cómo convertir objetos rdd a dataframe en spark
¿Cómo puedo convertir un RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) a un marco de datosorg.apache.spark.sql.DataFrame. Convertí un marco de datos a rdd usando.rdd. Después de procesarlo, lo quiero de vuelta en el marco de ...
¿Cómo definir una variable de escala global en Spark que será compartida por todos los trabajadores?
En el programa Spark, QUIERO definir una variable como un mapa inmutable al que todos los programas de trabajo tendrán acceso sincrónicamente, ¿qué puedo hacer? ¿Debo definir un objeto scala? No solo el mapa inmutable, ¿qué pasa si quiero una ...