Resultados de la búsqueda a petición "scala"
¿Qué es RDD en chispa?
La definición dice: RDD es una colección distribuida inmutable de objetos No entiendo muy bien qué significa. ¿Es como los datos (objetos particionados) almacenados en el disco duro? Si es así, ¿cómo es que los RDD pueden tener clases definidas ...
¿Por qué falla Spark con "Error al obtener broadcast_0_piece0 de broadcast_0" en modo local?
Estoy ejecutando este fragmento para ordenar un RDD de puntos, ordenar el RDD y tomar los puntos K más cercanos de un punto dado: def getKNN(sparkContext:SparkContext, k:Int, point2:Array[Double], pointsRDD:RDD[Array[Double]]): ...
Stackoverflow debido al largo linaje RDD
Tengo miles de archivos pequeños en HDFS. Necesita procesar un subconjunto de archivos un poco más pequeño (que nuevamente está en miles), fileList contiene una lista de rutas de archivos que deben procesarse. // fileList == list of filepaths in ...
val y objeto dentro de una clase scala?
¿Cuál es la diferencia entre declarar un campo comoval, lazy val yobject dentro de una clase scala, como en el siguiente fragmento: class A class B { val a1 = new A { def foo = 1 } object a2 extends A { def foo = 1 } lazy val a3 = new A { def ...
La coincidencia de patrones Scala en tipo genérico con TypeTag genera una advertencia mientras que ClassTag no?
Tengo dos métodos muy similares. La única diferencia es el uso deClassTag yTypeTag: def matchClass[A: ClassTag](v: Any) = v match { case a: A => "it's A" case _ => "not A" } def matchType[A: TypeTag](v: Any) = ... // same code as ...
akka-http con múltiples configuraciones de ruta
Fondo rapidoEstoy analizando algunos ejemplos aprendiendo la pila HTTP de Akka para crear un nuevo proyecto REST (completamente sin interfaz de usuario). He estado usando y aumentando elEjemplo de microservicio HTTP de ...
¿Qué es precisamente un parámetro de evidencia de escala?
He estado tratando de encontrar una definición autorizada de lo que es un parámetro de evidencia, en vano, para resolver un caso de "no se pudo encontrar el valor implícito para el parámetro de evidencia de tipo ...". ¿Puede proporcionar una muy ...
¿Cómo convierto una columna WrappedArray en el marco de datos de spark a Strings?
Estoy tratando de convertir una columna que contiene Array [String] a String, pero constantemente aparece este error org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: ...
¿Por qué se requiere la técnica Aux para los cálculos a nivel de tipo?
Estoy bastante seguro de que me falta algo aquí, ya que soy bastante nuevo en Shapeless y estoy aprendiendo, pero ¿cuándo es realmente la técnica Aux? necesario? Veo que se usa para exponer untype declaración elevándola a la firma de otro ...
Obtener subclases de un rasgo sellado
¿Es posible (a través de macros, alguna forma de forma automática sin forma u otra) obtener una lista de las subclases de un rasgo sellado: En tiempo de compilación?¿En tiempo de ejecución?