Resultados de la búsqueda a petición "scala"
Consume el flujo TCP y redirige a otro sumidero (con Akka Streams)
Intento redirigir / reenviar una secuencia TCP a otro sumidero con Akka 2.4.3. El programa debe abrir un socket de servidor, escuchar las conexiones entrantes y luego consumir el flujo tcp. Nuestro remitente no espera / acepta respuestas de ...
realizar unirse en múltiples DataFrame en chispa
Tengo 3dataframes generados a partir de 3 procesos diferentes. Cada marco de datos tiene columnas del mismo nombre. Mi dataframe se ve así id val1 val2 val3 val4 1 null null null null 2 A2 A21 A31 A41 id val1 val2 val3 val4 1 B1 B21 B31 B41 2 ...
Impacto en el rendimiento de la API RDD frente a las UDF combinadas con la API DataFrame
(Pregunta específica de Scala). Si bien los documentos de Spark fomentan el uso de DataFrame API cuando sea posible, si DataFrame API es insuficiente, la opción suele ser recurrir a RDD API o usar UDF. ¿Existe una diferencia de rendimiento ...
Cómo usar la palabra clave IZQUIERDA y DERECHA en SPARK SQL
Soy nuevo en provocar SQL, En MS SQL, tenemos la palabra clave IZQUIERDA,LEFT(Columnname,1) in('D','A') then 1 else 0. Cómo implementar lo mismo en SPARK SQL. Amablemente guiame
Scala: ¿Cómo probar los métodos que llaman a System.exit ()?
He estado desarrollando una herramienta de línea de comandos que llamaSystem.exit() (no quiero usar excepciones en lugar de) en ciertas entradas. estoy familiarizado conJava: ¿Cómo probar métodos que llaman a System.exit ...
¿Cómo escribir correctamente anotar esta lista H?
sealed abstract trait HList case class :+:[H, T <: HList](head: H, tail: T) extends HList { def :+:[T](v: T) = new :+:(v, this) } case object HNil extends HList { def :+:[T](v: T) = new :+:(v, this) } object HListExpt { def ...
¿Cómo Spark lee el archivo con subrayado al comienzo del nombre del archivo?
Cuando uso Spark para analizar archivos de registro, noto que si el primer carácter del nombre de archivo es_ , el resultado estará vacío. Aquí está mi código de prueba: SparkSession spark = SparkSession .builder() ...
¿Cómo usar Spark-Scala para descargar un archivo CSV de la web?
mundo, ¿Cómo usar Spark-Scala para descargar un archivo CSV de la web y cargar el archivo en un DataFrame spark-csv? Actualmente dependo de curl en un comando de shell para obtener mi archivo CSV. Aquí está la sintaxis que quiero mejorar: /* ...
¿Cómo cortar y sumar elementos de la columna de matriz?
me gustaríasum (o realizar otras funciones agregadas también) en la columna de matriz usando SparkSQL. Tengo una mesa como +-------+-------+---------------------------------+ |dept_id|dept_nm| emp_details| ...
Ventajas de subtipar sobre las clases de tipos
¿Cuáles son las ventajas deOOP subtipo sobre las clases de tipos, si las hay? En otras palabras, ahora que tenemos clases de tipos, ¿hay alguna razón para seguir usandoOOP subtipo? PD: Soy un programador de Scala.