Resultados de la búsqueda a petición "scala"
¿Cómo puedo forzar a Spark a ejecutar código?
¿Cómo puedo forzar a Spark a ejecutar una llamada al mapa, incluso si cree que no es necesario ejecutarlo debido a su evaluación diferida? He intentado ponercache() con la llamada al mapa, pero eso todavía no funciona. Mi método de mapa ...
Cómo usar Joda DateTime con Play Json
Estoy desarrollando una aplicación Play e intento usar un objeto Joda DateTime en mi clase de caso. package model import org.joda.time.DateTime import play.api.libs.json._ case class User(name: String, created: DateTime) object User { implicit ...
¿Cómo imprimir la variable del acumulador desde dentro de la tarea (parece "funcionar" sin llamar al método de valor)?
Sé que las variables del acumulador son 'solo escritura' desde el punto de vista de las tareas, cuando están en ejecución en los nodos de trabajo. Estaba haciendo algunas pruebas sobre esto y me di cuenta de que soy capaz de imprimir el valor del ...
¿Cómo convertir DataFrame a Json?
Tengo un gran archivo Json, una pequeña parte de la siguiente manera: { "socialNews": [{ "adminTagIds": "", "fileIds": "", "departmentTagIds": "", ........ ........ "comments": [{ "commentId": "", "newsId": "", "entityId": "", .... .... }] }] ...
¿Cómo crear un DataFrame vacío con un esquema especificado?
Quiero crear enDataFrame con un esquema especificado en Scala. He intentado usar la lectura JSON (quiero decir, leer un archivo vacío) pero no creo que sea la mejor práctica.
Explicación del método de plegado de la chispa RDD
Estoy ejecutando Spark-1.4.0 preconstruido para Hadoop-2.4 (en modo local) para calcular la suma de cuadrados de un DoubleRDD. Mi código Scala parece sc.parallelize(Array(2., 3.)).fold(0.0)((p, v) => p+v*v)Y dio un ...
No se puede declarar el acumulador de tipo cadena
Estoy tratando de definir una variable acumuladora de tipo String en Scala shell (controlador) pero sigo recibiendo el siguiente error: - scala> val myacc = sc.accumulator("Test") <console>:21: error: could not find implicit value for parameter ...
Uso del método de chispa DataFrame "como"
estoy mirando aspark.sql.DataFrame [https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrame] documentación. Ahi esta def as(alias: String): DataFrame Returns a new DataFrame with an alias set. Since 1.3.0¿Cuál ...
Obtenga todo el cuerpo HttpResponse como una cadena con Akka-Streams HTTP
Estoy tratando de entender cómo usar el nuevoakka.http biblioteca. Me gustaría enviar una solicitud http a un servidor y leer todo el cuerpo de la respuesta como una sola cadena para producir unSource[String,?]. Aquí está la mejor solución que ...
no puede cargar una biblioteca nativa usando el activador (Play Framework)
Estoy tratando de cargar una biblioteca nativa en mi aplicación Play 2.4.x. He escrito una prueba simple que funciona bien tanto en IDE (IntelliJ) como en SBT. En ambos casos estoy configurando eljava.library.path para que se ejecuten ...