Alguém tem algum conhecimento sobre fluxos de trabalho para análise de dados relacionados à elaboração de relatórios personalizados? O caso de uso é basicamente isto:

O cliente encomenda um relatório que usa análise de dados, por ex. uma estimativa da população e mapas relacionados para um distrito de água.

O analista baixa alguns dados, altera os dados e salva o resultado (por exemplo, adicionando uma coluna para população por unidade ou subconjunto dos dados com base nos limites do distrito).

O analista analisa os dados criados em (2), aproxima-se de seu objetivo, mas vê que precisa de mais dados e, portanto, volta para (1).

Enxágue a repetição até que as tabelas e os gráficos encontrem o QA / QC e satisfaçam o cliente.

Escrever relatório incorporando tabelas e gráficos.

No próximo ano, o cliente feliz volta e quer uma atualização. Isso deve ser tão simples quanto atualizar os dados upstream por um novo download (por exemplo, obter as licenças de construção do último ano) e pressionar um botão "RECALCULATE", a menos que as especificações mudem.

No momento, acabei de começar um diretório e ad-hoc o melhor que posso. Eu gostaria de uma abordagem mais sistemática, por isso espero que alguém tenha descoberto isso ... Eu uso uma mistura de ferramentas de planilhas, SQL, ARCGIS, R e Unix.

Obrigado!

PS:

Abaixo está um Makefile básico que verifica as dependências em vários conjuntos de dados intermediários (com.RData sufixo) e scripts (.R sufixo). Faça uso de timestamps para verificar dependências, então se vocêtouch ss07por.csv, ele verá que esse arquivo é mais novo que todos os arquivos / destinos que dependem dele e executa os scripts fornecidos para atualizá-los de acordo. Este ainda é um trabalho em andamento, incluindo uma etapa para colocar no banco de dados SQL e um passo para uma linguagem de templates como a sweave. Observe que o Make depende das guias em sua sintaxe, portanto, leia o manual antes de recortar e colar. Aproveite e dê feedback!

http://www.gnu.org/software/make/manual/html_node/index.html#Top

R=/home/wsprague/R-2.9.2/bin/R

persondata.RData : ImportData.R ../../DATA/ss07por.csv Functions.R
   $R --slave -f ImportData.R

persondata.Munged.RData : MungeData.R persondata.RData Functions.R
      $R --slave -f MungeData.R

report.txt:  TabulateAndGraph.R persondata.Munged.RData Functions.R
      $R --slave -f TabulateAndGraph.R > report.txt