Cómo guardar / insertar cada DStream en una tabla permanente
He estado enfrentando un problema con "Spark Streaming" sobre la inserción de la salida Dstream en unpermanente Tabla SQL. Me gustaría insertar cada salida DStream (proveniente de un solo lote que genera procesos) en una tabla única. He estado usando Python con una versión de Spark 1.6.2.
En esta parte de mi código, tengo un Dstream hecho de uno o más RDD que me gustaría insertar / almacenar permanentemente en una tabla SQL sin perder ningún resultado para cada lote procesado.
rr = feature_and_label.join(result_zipped)\
.map(lambda x: (x[1][0][0], x[1][1]) )
CadaDstream aquí se representa, por ejemplo, como esta tupla: (4.0, 0). No puedo usarSparkSQL porque la forma en que Spark trata la 'mesa', es decir, como unmesa temporal, por lo tanto, perder el resultado en cada lote.
Este es un ejemplo de salida:
Hora: 2016-09-23 00:57:00(0.0, 2)
Hora: 2016-09-23 00:57:01(4.0, 0)
Hora: 2016-09-23 00:57:02(4.0, 0)
...
Como se muestra arriba, cada lote está hecho por un soloDstream. Como dije antes, me gustaría almacenar permanentemente estos resultados en una tabla guardada en algún lugar, y posiblemente consultarlos más adelante. Entonces mi pregunta es: ¿hay alguna manera de hacerlo?
Apreciaría si alguien puede ayudarme con esto, pero especialmente diciéndome si es posible o no. Gracias.