Estou enfrentando um problema com o "Spark Streaming" sobre a inserção do Dstream de saída em umpermanente Tabela SQL. Gostaria de inserir todos os DStream de saída (provenientes de um único lote que desencadeia processos) em uma tabela exclusiva. Eu tenho usado o Python com uma versão 1.6.2 do Spark.

Nesta parte do meu código, tenho um Dstream feito de um ou mais RDD que gostaria de inserir / armazenar permanentemente em uma tabela SQL sem perder nenhum resultado para cada lote processado.

rr = feature_and_label.join(result_zipped)\
                      .map(lambda x: (x[1][0][0], x[1][1]) )

CadaDstream aqui é representado, por exemplo, como esta tupla: (4.0, 0). Não posso usarSparkSQL porque a maneira como o Spark trata a 'mesa', ou seja, como ummesa temporária, portanto, perdendo o resultado a cada lote.

Este é um exemplo de saída:

Hora: 2016-09-23 00:57:00

(0,0, 2)

Hora: 2016-09-23 00:57:01

(4,0, 0)

Hora: 2016-09-23 00:57:02

(4,0, 0)

...

Como mostrado acima, cada lote é feito por apenas umDstream. Como eu disse antes, gostaria de armazenar permanentemente esses resultados em uma tabela salva em algum lugar e possivelmente consultá-los posteriormente. Então, minha pergunta é: existe uma maneira de fazer isso?
Eu apreciaria se alguém pode me ajudar com isso, mas especialmente me dizendo se é possível ou não. Obrigado.