Estou olhando para o scala / slick streaming e tentando entender como funciona. Aqui está o meu código de teste

    val bigdata = TableQuery[BigData] 
    val x = db.stream(bigdata.result.transactionally.withStatementParameters(fetchSize = 100)).foreach {
      (tuple: (Int, UUID)) =>
        println(tuple._1 + " " + tuple._2)
        Thread.sleep(50)//emulating slow consumer.
    }

    Await.result(x, 100000 seconds)

Enquanto o código está em execução, habilitei o log de consultas do postgresql para entender o que está acontecendo sob o capô. Vejo uma nova consulta acontecendo a cada 100 elementos

2015-11-06 15:03:24 IST [24379-3] postgres @ scala_test LOG: execute busca de S_2 / C_3: selecione x2. "Id", x2. "Dados" de "bigdata" x2 06-11-2015 15:03:29 IST [24379-4] postgres @ scala_test LOG: execute

fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:34 IST [24379-5] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:39 IST [24379-6] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:44 IST [24379-7] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:49 IST [24379-8] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2

No entanto, parece que ele estava buscando um conjunto de dados inteiro. Eu estava esperando uma consulta com deslocamento.

ie SELECT * FROM bigdata  LIMIT 100 OFFSET 500

Parece que tudo é consultado e os dados enviados são enviados parcialmente.

Então, enquanto o streaming acima está em execução, inseri um novo conjunto de dados na mesma tabela.

Antes da transmissão

SELECT count(*) FROM bigdata -> 500

Em seguida, inseriu algumas linhas

SELECT count(*) FROM bigdata  -> 700

Mas o streaming é interrompido em 500. Isso parece indicar que novos dados nunca são buscados e transmitidos de volta. Alguma idéia de como o streaming funciona de maneira eficiente.