Resultados de la búsqueda a petición "scala"
Spark Scala: error de tarea no serializable
Estoy usando IntelliJ Community Edition con Scala Plugin y bibliotecas de chispa. Todavía estoy aprendiendo Spark y estoy usando Scala Worksheet. He escrito el siguiente código que elimina los signos de puntuación en una cadena: def ...
Spark Dataframe El UUID aleatorio cambia después de cada transformación / acción
Tengo un marco de datos Spark con una columna que incluye un UUID generado. Sin embargo, cada vez que hago una acción o transformación en el marco de datos, cambia el UUID en cada etapa. ¿Cómo genero el UUID solo una vez y que el UUID permanezca ...
Dos problemas con sbt en cygwin / vista
Estoy usando cygwin 1.77 en Windows Vista. Estoy enfrentando problemas con la salida desbt en el caparazón Algunos variables ambientales relevantes: TERM=cygwin CYGWIN=server LANG=C.UTF-8(1) Cuando escribosbt test el shell contiene muchos ...
¿Cómo clasificamos el marco de datos?
Tengo un marco de datos de muestra como a continuación: i / p accountNumber assetValue A100 1000 A100 500 B100 600 B100 200o / p AccountNumber assetValue Rank A100 1000 1 A100 500 2 B100 600 1 B100 200 2Ahora mi pregunta es cómo agregamos esta ...
Scala: producir los resultados intermedios de un pliegue
Me he encontrado con el problema de mantener un estado a lo largo de una operación de mapa varias veces. Imagine la siguiente tarea: Dada una Lista [Int], asigne cada elemento a la suma de todos los elementos anteriores y a sí mismo. Entonces ...
¿Por qué este código Spark crea NullPointerException?
Tengo un problema al ejecutar una aplicación Spark. Código fuente: // Read table From HDFS val productInformation = spark.table("temp.temp_table1") val dict = spark.table("temp.temp_table2") // Custom UDF val countPositiveSimilarity = udf[Long, ...
Spark no funciona con pureconfig
Estoy tratando de usar pureConfig y configFactory para la configuración de mi aplicación spark. Aquí está mi código: import pureconfig.{loadConfigOrThrow} object Source{ def apply(keyName: String, configArguments: Config): Source = { ...
Convertir la función Scala a la función Kotlin
Soy muy nuevo tanto en scala Kotlin como en intentar convertir algún código scala a Kotlin solo como una forma de entender algo. Uno con el que tengo problemas es la conversión de esta función de escala a una Kotlin. def ...
Utilice un método dentro de una función UDF Spark Scala
Quiero usar un método ubicado en otra clase dentro de una función diseñada por el usuario, pero no funciona. Tengo un metodo: def traitementDataFrameEleve(sc:SparkSession, dfRedis:DataFrame, domainMail:String, dir:String):Boolean ={ def ...
¿Comparar modelos de identidad, pero con variables? Construir con menos?
Mi equipo está implementando una variación deSeguimiento referencial de Ceusters [http://www.referent-tracking.com]. En nuestra implementación, el URI original para una entidad se puede cambiar (a algo que contenga un UUID), aunque siempre se ...