Estou fazendo algum tipo de processamento no spark e quero implementar uma funcionalidade que, independentemente do processamento que está sendo executado, quero agendar um timer (em um intervalo de 5 minutos) que persista alguns dados no Cassandra (ou vamos diga qualquer outra fonte)

Para facilitar a compreensão, pode soar como duas tarefas em paralelo, uma é acompanhar o intervalo de 5 minutos que será gravado no Cassandra e a outra está fazendo todo o processamento que eu disse para fazer.

É como eu estou processando os dados de streaming e, em seguida, armazenei em cache a saída desse processamento no spark como tabela temporária e essa tabela em cache é usada em algum lugar novamente no script spark, mas somente após algum intervalo quero persistir no Cassandr

Qualquer tipo de ajuda é apreciada