Resultados de la búsqueda a petición "scala"
Spark NullPointerException con saveAsTextFile
Recibo un NPE cuando intento fusionarme y guardar un RDD. El código funciona localmentey funciona en el clúster en el shell scala, pero arroja el error al enviarlo como un trabajo al clúster. Intenté imprimir usando una toma () para ver si el ...
¿Cómo resumir cada columna de una matriz Scala?
Si tengo una matriz de matriz (similar a una matriz) en Scala, ¿cuál es la forma eficiente de resumir cada columna de la matriz? Por ejemplo, si mi matriz de matriz es la siguiente: val arr = Array(Array(1, 100, ...), Array(2, 200, ...), ...
¿Puedo escribir un archivo HDFS (o local) de texto sin formato desde un programa Spark, no desde un RDD?
Tengo un programa Spark (en Scala) y unSparkContext. Estoy escribiendo algunos archivos conRDD'ssaveAsTextFile. En mi máquina local, puedo usar una ruta de archivo local y funciona con el sistema de archivos local. En mi clúster funciona con ...
¿Cómo obtener directorios fuente de todas las dependencias de un proyecto sbt?
Estoy tratando de implementar una tarea sbt que recopila todos los directorios de origen de los proyectos especificados usandodependsOn método de un proyecto. Termino con este código: def sourcesOfDependencies(p: Project): ...
En Scala, ¿cómo puedo subclasificar una clase Java con múltiples constructores?
Supongamos que tengo una clase Java con múltiples constructores: class Base { Base(int arg1) {...}; Base(String arg2) {...}; Base(double arg3) {...}; }¿Cómo puedo extenderlo en Scala y aún así proporcionar acceso a los tres constructores de ...
Spark extrayendo valores de una fila
Tengo el siguiente marco de datos val transactions_with_counts = sqlContext.sql( """SELECT user_id AS user_id, category_id AS category_id, COUNT(category_id) FROM transactions GROUP BY user_id, category_id""")Estoy tratando de convertir las ...
¿Cómo usar Scala y Python en un mismo proyecto Spark?
¿Es eso posible canalizar?Spark RDDa Python? Porque necesito una biblioteca de Python para hacer algunos cálculos en mis datos, pero mi proyecto principal de Spark se basa en Scala. ¿Hay alguna manera de mezclarlos a ambos o dejar que Python ...
Spark Streaming en EC2: Excepción en el hilo "main" java.lang.ExceptionInInitializerError
Estoy tratando de ejecutar spark-submit en un archivo jar que creé. Cuando lo ejecuto localmente en mi máquina, funciona correctamente, pero cuando se implementa en Amazon EC2, devuelve el siguiente error. root@ip-172-31-47-217 bin]$ ...
Convirtiendo RDD [org.apache.spark.sql.Row] a RDD [org.apache.spark.mllib.linalg.Vector]
Soy relativamente nuevo en Spark y Scala. Estoy comenzando con el siguiente marco de datos (columna única hecha de un denso vector de dobles): scala> val scaledDataOnly_pruned = scaledDataOnly.select("features") scaledDataOnly_pruned: ...
Scala doble definición (2 métodos tienen el mismo tipo de borrado)
Escribí esto en scala y no compilará: class TestDoubleDef{ def foo(p:List[String]) = {} def foo(p:List[Int]) = {} }el compilador notifica: [error] double definition: [error] method foo:(List[String])Unit and [error] method foo:(List[Int])Unit ...