Потоковое в Slick / Scala

Я смотрю на потоковую передачу scala / slick и пытаюсь понять, как она работает. Вот мой тестовый код

    val bigdata = TableQuery[BigData] 
    val x = db.stream(bigdata.result.transactionally.withStatementParameters(fetchSize = 100)).foreach {
      (tuple: (Int, UUID)) =>
        println(tuple._1 + " " + tuple._2)
        Thread.sleep(50)//emulating slow consumer.
    }

    Await.result(x, 100000 seconds)

Во время выполнения кода я включил журнал запросов postgresql, чтобы понять, что происходит внутри. Я вижу повторный запрос каждые 100 элементов

2015-11-06 15:03:24 IST [24379-3] postgres @ scala_test LOG: выполнить выборку из S_2 / C_3: выбрать x2. "Id", x2. "Data" из "bigdata" x2 2015-11-06 15:03:29 IST [24379-4] postgres @ scala_test LOG: выполнить

fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:34 IST [24379-5] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:39 IST [24379-6] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:44 IST [24379-7] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2
2015-11-06 15:03:49 IST [24379-8] postgres@scala_test LOG:  execute fetch from S_2/C_3: select x2."id", x2."data" from "bigdata" x2

Однако, похоже, что он получал весь набор данных. Я ожидал запрос со смещением.

ie SELECT * FROM bigdata  LIMIT 100 OFFSET 500

Похоже, все запрашивается и отправка данных отправляется частично.

Затем, пока идет вышеупомянутая потоковая передача, я вставил новый набор данных в ту же таблицу.

До потоковой передачи

SELECT count(*) FROM bigdata -> 500

Затем вставлено несколько строк

SELECT count(*) FROM bigdata  -> 700

Но потоковая передача останавливается на 500. Это, кажется, указывает на то, что новые данные никогда не извлекаются и не передаются обратно. Любые идеи, как потоковое работает в пятно.

Ответы на вопрос(0)

Ваш ответ на вопрос