Estoy viendo la transmisión scala / slick, y estoy tratando de entender cómo funciona. Aquí está mi código de prueba

    val bigdata = TableQuery[BigData] 
    val x = db.stream(bigdata.result.transactionally.withStatementParameters(fetchSize = 100)).foreach {
      (tuple: (Int, UUID)) =>
        println(tuple._1 + " " + tuple._2)
        Thread.sleep(50)//emulating slow consumer.
    }

    Await.result(x, 100000 seconds)

Mientras el código se está ejecutando, habilité el registro de consultas postgresql para comprender qué sucede debajo del capó. Veo una nueva consulta cada 100 elementos.

2015-11-06 15:03:24 IST [24379-3] postgres @ scala_test LOG: ejecute la búsqueda desde S_2 / C_3: seleccione x2. "Id", x2. "Data" de "bigdata" x2 2015-11-06 15:03:29 IST [24379-4] postgres @ scala_test LOG: ejecutar

fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:34 IST [24379-5] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:39 IST [24379-6] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:44 IST [24379-7] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:49 IST [24379-8] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2

Sin embargo, parece que estaba recuperando todo el conjunto de datos. Esperaba una consulta con desplazamiento.

ie SELECT * FROM bigdata  LIMIT 100 OFFSET 500

Parece que todo se consulta y los datos de envío se envían parcialmente.

Luego, mientras se ejecuta la transmisión anterior, inserté un nuevo conjunto de datos en la misma tabla.

Antes de la transmisión

SELECT count(*) FROM bigdata -> 500

Luego insertó algunas filas

SELECT count(*) FROM bigdata  -> 700

Pero la transmisión se detiene en 500. Esto parece indicar que los nuevos datos nunca se recuperan y se transmiten. Alguna idea de cómo funciona la transmisión en slick.