Resultados de la búsqueda a petición "scala"
Play WS API: tasas de solicitud de aceleración
Estoy usando la API asíncrona Play WS Scala para consultar un servicio RESTful. Me pregunto cómo podría procesar unList que contiene las URL de solicitud a las que se llamaráWSClient, pero no más de una solicitud por segundo (el servicio permite ...
Resolución implícita de parámetros para tipos superiores
Considere el siguiente código: object foo { trait Bar[Q[_]] implicit object OptionBar extends Bar[Option] def test[T, C[_]](c: C[T])(implicit bar: Bar[C]) = () def main(args: Array[String]) { test(Some(42): Option[Int]) //??? } }Esto funciona, ...
¿Por qué Scala requiere un tipo de retorno para funciones recursivas?
En el fragmento de código incluido a continuación, tengo una llamada de función recursiva, que se utiliza para facilitar un reintento si falla una llamada de red (Amazon SimpleDB ocasionalmente devolverá un 503 y requerirá un reintento). Cuando ...
¿Dónde puedo descargar los tarros de origen de Scala (scala-library-src.jar, etc.)
Estoy tratando de usar el complemento IntelliJ Idea Scala, pero dice que quiere scala-library-src.jar, scala-swing-src.jar, scala-dbc-src.jar. ¿Dónde puedo descargar estos archivos? Yo uso Scala 2.8.
Usar Spark para escribir un archivo de parquet en s3 sobre s3a es muy lento
Estoy tratando de escribir unparquet presentar aAmazon S3 utilizandoSpark 1.6.1. El pequeñoparquet que estoy generando es~2GB una vez escrito, entonces no son tantos datos. Estoy tratando de probarSpark fuera como una plataforma que ...
Mover Spark DataFrame de Python a Scala con Zeppelin
Creé un DataFrame de chispa en un párrafo de Python en Zeppelin. sqlCtx = SQLContext(sc) spDf = sqlCtx.createDataFrame(df)ydf es un marco de datos de pandas print(type(df)) <class 'pandas.core.frame.DataFrame'>lo que quiero hacer es mudarmespDf ...
¿Cómo calcular el percentil de la columna en un DataFrame en chispa?
Estoy tratando de calcular el percentil de una columna en un DataFrame? No puedo encontrar ninguna función percentile_approx en las funciones de agregación de Spark. Por ej. en Hive tenemos percentile_approx y podemos usarlo de la ...
Cómo leer un archivo de HDFS en map () rápidamente con Spark
Necesito leer un archivo diferente en cada mapa (), el archivo está en HDFS val rdd=sc.parallelize(1 to 10000) val rdd2=rdd.map{x=> val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://ITS-Hadoop10:9000/"), ...
Scala "<-" para la comprensión
He descubierto que Scala siempre tiene una "explicación natural" para cualquier cosa. Siempre algo así como "ohh, pero esa es solo una función que se llama en este y ese objeto con este y ese parámetro". En cierto sentido, nada es realmente ...
Typesafe Config en Spark
He definido una configuración predeterminada en mi aplicación Spark que está metida ensrc/main/resources/reference.conf. yo sueloConfigFactory.load() para obtener la configuración. Cuando ejecuto la aplicación conspark-submit recoge estos ...