Resultados de la búsqueda a petición "scala"
Spark Dataset API - unirse
Estoy tratando de usar la chispaConjunto de datos [https://databricks.com/blog/2016/01/04/introducing-spark-datasets.html]API pero tengo algunos problemas para hacer una unión simple. Digamos que tengo dos conjuntos de datos con campos:date | ...
¿Cómo convertir la Opción [Probar [_]] para Probar [Opción [_]]?
A menudo uso la siguiente función para convertirOption[Try[_]] aTry[Option[_]] Pero se siente mal. ¿Puede tal funcionalidad expresarse de manera más idiomática? def swap[T](optTry: Option[Try[T]]): Try[Option[T]] = { optTry match { ...
Número de CPU por tarea en Spark
No entiendospark.task.cpus parámetro. Me parece que una "tarea" corresponde a un "hilo" o un "proceso", si lo desea, dentro del ejecutor. Supongamos que configuro "spark.task.cpus" en 2. ¿Cómo puede un hilo utilizar dos CPU simultáneamente? ¿No ...
Convertir DataFrame a RDD [Mapa] en Scala
Quiero convertir una matriz creada como: case class Student(name: String, age: Int) val dataFrame: DataFrame = sql.createDataFrame(sql.sparkContext.parallelize(List(Student("Torcuato", 27), Student("Rosalinda", 34))))Cuando recopilo los ...
¿Cómo puedo tener un tipo de negación en Scala?
Quiero hacer algo como esto: def iDontLikeStrings(arg: Not[String]) = {....}Básicamente, esto debería compilar: iDontLikeStrings(23) iDontLikeStrings(true)Y esto NO debe compilar: iDontLikeStrings("hello")
Akka Stream + Akka Http - Obtener solicitud por error
Tengo la siguiente secuencia que funciona bastante bien: source .map(x => HttpRequest(uri = x.rawRequest)) .via(Http().outgoingConnection(host, port)) .to(Sink.actorRef(myActor, IsDone)) .run()y un actor simple para manejar el estado de ...
¿Cómo seleccionar un subconjunto de campos de una columna de matriz en Spark?
Digamos que tengo un DataFrame de la siguiente manera: case class SubClass(id:String, size:Int,useless:String) case class MotherClass(subClasss: Array[SubClass]) val df = sqlContext.createDataFrame(List( ...
Scala recuperarse o recuperarse con
Estamos desarrollando algunos sistemas en nuestra empresa en Scala y tenemos algunas dudas. Estábamos discutiendo sobre cómo mapear las futuras excepciones y no sabemos cuándo debemos usar la opción 1 o la opción 2. val created: Future[...] = ...
Manera correcta de usar YouTube.Builder
Necesito obtener videos de usuario de youtube. Aquí está mi código que solo intenta obtener canales de usuario de youtube. Pero no funciona: después de elegir la cuenta,loadYoutubeChannels siempre arroja errores. Leo ...
Spark scala: SELECT en un bucle foreach devuelve java.lang.NullPointerException
Necesito iterar sobre el contenido de un DF con varias instrucciones SELECT dentro de un bucle foreach, escribiendo la salida en archivos de texto. Cualquier instrucción SELECT dentro del bucle foreach devuelve una NullPointerException. No puedo ...