Resultados de la búsqueda a petición "scala"
Spark Streaming en un directorio S3
Así que tengo miles de eventos que se transmiten a través de Amazon Kinesis a SQS y luego se descargan en un directorio S3. Aproximadamente cada 10 minutos, se crea un nuevo archivo de texto para volcar los datos de Kinesis en S3. Me gustaría ...
¿Cómo usar la fuente JDBC para escribir y leer datos en (Py) Spark?
El objetivo de esta pregunta es documentar: pasos necesarios para leer y escribir datos utilizando conexiones JDBC en PySpark posibles problemas con las fuentes JDBC y las soluciones conocidas Con pequeños cambios, estos métodos deberían ...
fusionar múltiples archivos pequeños en unos pocos archivos más grandes en Spark
Estoy usando la colmena a través de Spark. Tengo una consulta Insertar en tabla particionada en mi código de chispa. Los datos de entrada están en 200 + gb. Cuando Spark está escribiendo en una tabla particionada, está escupiendo archivos muy ...
No se ha encontrado ninguna configuración para la clave 'akka.version'
Estoy aprendiendo akka-remoting y así es como se ve mi proyecto La estructura del proyecto se ve como project/pom.xml ...
¿Cómo crear una fuente que pueda recibir elementos más tarde a través de una llamada al método?
Me gustaría crear unSource y luego empujar elementos sobre él, como en: val src = ... // create the Source here // and then, do something like this pushElement(x1, src) pushElement(x2, src)cual es la manera recomendada para hacer esto? ¡Gracias!
Insertar un nuevo elemento en una posición especificada de una lista
No hay una función integrada o un método de una Lista que permita al usuario agregar un nuevo elemento en una determinada posición de una Lista. Escribí una función que hace esto, pero no estoy seguro de que sea una buena idea hacerlo de esta ...
¿Cómo definir la partición de DataFrame?
Comencé a usar Spark SQL y DataFrames en Spark 1.4.0. Quiero definir un particionador personalizado en DataFrames, en Scala, pero no veo cómo hacerlo. Una de las tablas de datos con las que estoy trabajando contiene una lista de transacciones, ...
bloqueo de palabras clave en Scala
Cuál es la diferencia entreFuture(blocking(blockingCall())) yblocking(Future(blockingCall()))? Ambos se definen enscala.concurrent._ He miradoen los documentos de scala [http://docs.scala-lang.org/overviews/core/futures.html#blocking]y alguna ...
Dos formas de curry en Scala; ¿Cuál es el caso de uso de cada uno?
Estoy teniendo una discusión alrededorListas de parámetros múltiples [http://davetron5000.github.com/scala-style/declarations/methods/currying.html] en la Guía de estilo Scala que mantengo. Me he dado cuenta de que hay dos formas dezurra ...
Spark: se fusionan muy lentamente, incluso los datos de salida son muy pequeños
Tengo el siguiente código en Spark: myData.filter(t => t.getMyEnum() == null) .map(t => t.toString) .saveAsTextFile("myOutput")Hay más de 2000 archivos en la carpeta myOutput, pero solo unos pocos t.getMyEnum () == nulo, por lo que solo hay muy ...