Resultados de la búsqueda a petición "scala"
Pregunta sobre la escalabilidad de mutabilidad variable
Entiendo quevalla palabra clave determina que la variable subyacente es de tipo Inmutable (no se puede reasignar más adelante). Ahora me encuentro con un párrafo en programación en scala (Capítulo 3, Próximos pasos en scala - parametrizar ...
Columna de matriz de acceso en Spark
Un Spark DataFrame contiene una columna de tipo Array [Double]. Lanza una excepción ClassCastException cuando intento recuperarlo en una función map (). El siguiente código Scala genera una excepción. case class Dummy( x:Array[Double] ) val df ...
Spark 1.5.1, MLLib Probabilidad de bosque aleatorio
Estoy usando Spark 1.5.1 con MLLib. Construí un modelo de bosque aleatorio usando MLLib, ahora uso el modelo para hacer predicciones. Puedo encontrar la categoría de predicción (0.0 o 1.0) usando la función .predict. Sin embargo, no puedo ...
Utilice SparkSession.sql () con JDBC
Problema: Me gustaría usar la conexión JDBC para hacer una solicitud personalizada usando spark. El objetivo de esta consulta es optimizar la asignación de memoria en los trabajadores, por eso no puedo usar: ss.read .format("jdbc") ...
Escala de asignación múltiple a variable existente
Puedo hacer algo como def f(): Tuple2[String, Long] = ... val (a, b) = f()¿Qué pasa si las variables ya existen? Estoy ejecutando los mismos conjuntos de datos sobre filtros y no quiero encadenarlos (nombres largos y demás). Esto es lo que ...
¿Cómo te burlas del nombre de llamada Scala en Mockito?
Estoy tratando de burlarme del método scala call-by name en mockito. Pero toparse con este error. Esta excepción puede ocurrir si los matchers se combinan con valores sin formato: // incorrecto: someMethod (anyObject (), "raw String"); Al ...
¿Cómo configurar un entorno de desarrollo local para que Scala Spark ETL se ejecute en AWS Glue?
Me gustaría poder escribirScala en mi IDE local y luego implementarlo en AWS Glue como parte de un proceso de compilación. Pero tengo problemas para encontrar las bibliotecas necesarias para construir elGlueApp esqueleto generado por ...
Cómo limitar el spray jsonFormat
Estoy implementando algunas API de descanso que usan spray y akka. La API debería exponer algún tipo de CRUD de usuario. Usaré solo crear usuario en esta pregunta ... case class User(id:String, name:String) case class ...
¿Una variable utilizada en su propia definición?
Una corriente infinita: val ones: Stream[Int] = Stream.cons(1, ones) ¿Cómo es posible que un valor se use en su propia declaración? Parece que esto debería producir un error de compilación, pero funciona.
Omitir la primera línea de cada archivo en Spark (Scala)
Estoy procesando una carpeta S3 que contiene archivos csv.gz en Spark. Cada archivo csv.gz tiene un encabezado que contiene nombres de columna. La forma en que cargo los datos contenidos en Spark es hacer referencia a la ruta / carpeta, ...