30.000 pontos de dados, encontre a maior mudança ao longo de 2 semanas

Eu tenho:

- 30,000 data points
- each data point is a measurement of type float
- each measurement is associated with a date
- each date has only one measurement
- no dates are without measurements
- the data comes in the form of a text file: 30,000 lines in this form:
    - YYYY-MM-DD I,F (e.g. 1977-02-08 20.74)
- measurement appearing in the source file are already sorted by date

Eu preciso:

- a time-interval T with boundaries (s,e) /* start, end */
- (s - e = 14 days) the time-interval *must* be 2 weeks
- define min as the lowest value in the interval T
- define max as the greatest value in the interval T
- the chosen T needs to have the greatest distance btwn max and min of all possible Ts
- break ties among intervals T by choosing the most recent (with the greatest s value)
- the chosen T must consider all jumps in the 14 days, not just the values @ s and e
- if the overall "variance" in the interval is great but the jump 
  |max-min| is not the greatest in absolute value, T is not the right choice,
  even if it's an "exciting" interval

Estou perguntando:

- which algorithm to employ, considering algorithms are not my specialty
- which data structure to use to keep track of the subtotals

Nota:

- an answer in pseudo code would be preferred, "prose" is fine if pressured for time
- an answer in Python would be... splendid :)

Se você quiser, pode gerar dados "fictícios" e executar o algoritmo proposto como um teste ou compartilhar os dados reais.

Eu não estou muito preocupado com o desempenho aqui, além de querer saber a maneira mais rápida de fazer isso, de modo a aprender como aplicar a solução correta e o algoritmo correto.

Eu acho que posso "provar" correção com até mesmo o mais simples algoritmo iterativo porque o conjunto de dados é pequeno, dado os computadores de hoje.

Até agora, estou "percorrendo e carregando 14 vetores de 14 medidas", se você pudesse me ensinar como fazer isso de forma incremental com sub-somas, isso seria muito apreciado.

questionAnswers(2)

yourAnswerToTheQuestion