большое спасибо, ваш ответ ясен и логичен. "startTime" является значением смещения
р выглядит следующим образом:
df=spark.createDataFrame([
(1,"2017-05-15 23:12:26",2.5),
(1,"2017-05-09 15:26:58",3.5),
(1,"2017-05-18 15:26:58",3.6),
(2,"2017-05-15 15:24:25",4.8),
(3,"2017-05-25 15:14:12",4.6)],["index","time","val"]).orderBy("index","time")
df.collect()
+-----+-------------------+---+
|index| time|val|
+-----+-------------------+---+
| 1|2017-05-09 15:26:58|3.5|
| 1|2017-05-15 23:12:26|2.5|
| 1|2017-05-18 15:26:58|3.6|
| 2|2017-05-15 15:24:25|4.8|
| 3|2017-05-25 15:14:12|4.6|
+-----+-------------------+---+
для функции "pyspark.sql.functions"
window(timeColumn, windowDuration, slideDuration=None, startTime=None)
timeColumn：The time column must be of TimestampType.
windowDuration： Durations are provided as strings, e.g. '1 second', '1 day 12 hours', '2 minutes'. Valid
interval strings are 'week', 'day', 'hour', 'minute', 'second', 'millisecond', 'microsecond'.
slideDuration: If the 'slideDuration' is not provided, the windows will be tumbling windows.
startTime： the startTime is the offset with respect to 1970-01-01 00:00:00 UTC with which to start window intervals. For example, in order to have hourly tumbling windows that start 15 minutes past the hour, e.g. 12:15-13:15, 13:15-14:15... provide `startTime` as `15 minutes`.
Я хочу посчитать параметры "val" в этой функции для каждых 5 дней, и я установил для параметра "slideDuration" строковое значение с "5 дней"
timeColumn="time",windowDuration="5 day",slideDuration="5 day"
коды следующие:
df2=df.groupBy("index",F.window("time",windowDuration="5 day",slideDuration="5 day")).agg(F.sum("val").alias("sum_val"))
Когда я получаю значение параметра "window.start", время начинается не с того минимального времени, которое я указываю в столбце "время", или с временем, которое я установил ранее, а в другое время из ниоткуда.
Результаты вышли следующим образом:
+-----+---------------------+---------------------+-------+
|index|start |end |sum_val|
+-----+---------------------+---------------------+-------+
|1 |2017-05-09 08:00:00.0|2017-05-14 08:00:00.0|3.5 |
|1 |2017-05-14 08:00:00.0|2017-05-19 08:00:00.0|6.1 |
|2 |2017-05-14 08:00:00.0|2017-05-19 08:00:00.0|4.8 |
|3 |2017-05-24 08:00:00.0|2017-05-29 08:00:00.0|4.6 |
+-----+---------------------+---------------------+-------+
Когда я устанавливаю значение для параметра «startTime» с помощью «0 секунд» (коды следующие):
df2=df.groupBy("index",F.window("time",windowDuration="5 day",slideDuration="5 day",startTime="0 second")).agg(F.sum("val").alias("sum_val"))
+-----+---------------------+---------------------+-------+
|index|start |end |sum_val|
+-----+---------------------+---------------------+-------+
|1 |2017-05-09 08:00:00.0|2017-05-14 08:00:00.0|3.5 |
|1 |2017-05-14 08:00:00.0|2017-05-19 08:00:00.0|6.1 |
|2 |2017-05-14 08:00:00.0|2017-05-19 08:00:00.0|4.8 |
|3 |2017-05-24 08:00:00.0|2017-05-29 08:00:00.0|4.6 |
+-----+---------------------+---------------------+-------+
Получились результаты, что он все еще не начинался с минимального времени в столбце «время»
Так как мне сделать так, чтобы эта функция начиналась с минимального времени в столбце «время» или времени, которое я установил в первый раз, например «2017-05-09 15:25:30», я так благодарен за Вы, чтобы понять меня из этого вопроса
Официальное введение «StartTime» следующим образом
The startTime is the offset with respect to 1970-01-01 00:00:00 UTC with which to start window intervals.
For example, in order to have hourly tumbling windows that start 15 minutes past the hour, e.g. 12:15-13:15, 13:15-14:15...
provide `startTime` as `15 minutes`.
1.Что делает аргумент startTime функции pyspark.sql.functions.window?