¿Alguien tiene alguna sabiduría en los flujos de trabajo para el análisis de datos relacionados con la redacción de informes personalizados? El caso de uso es básicamente este:

El cliente comisiona un informe que utiliza análisis de datos, por ejemplo, una estimación de población y mapas relacionados para un distrito de agua.

El analista descarga algunos datos, los muda y guarda el resultado (por ejemplo, agregando una columna para la población por unidad, o subcontratando los datos según los límites del distrito).

El analista analiza los datos creados en (2), se acerca a su objetivo, pero ve que necesita más datos y, por lo tanto, vuelve a (1).

Enjuague y repita hasta que las tablas y los gráficos cumplan con QA / QC y satisfagan al cliente.

Redactar informe incorporando tablas y gráficos.

El año que viene, el cliente feliz regresa y quiere una actualización. Esto debería ser tan simple como actualizar los datos en sentido ascendente mediante una nueva descarga (por ejemplo, obtener los permisos de construcción del último año) y presionar el botón "RECALCULAR", a menos que las especificaciones cambien.

En este momento, solo comienzo un directorio y ad-hoc lo mejor que puedo. Me gustaría un enfoque más sistemático, así que espero que alguien lo haya descubierto ... Uso una combinación de hojas de cálculo, herramientas de SQL, ARCGIS, R y Unix.

¡Gracias!

PD:

A continuación se muestra un Makefile básico que verifica las dependencias en varios conjuntos de datos intermedios (w /.RData sufijo) y scripts (.R sufijo). Make utiliza marcas de tiempo para verificar las dependencias, por lo que sitouch ss07por.csvVerá que este archivo es más nuevo que todos los archivos / destinos que dependen de él, y ejecuta los scripts dados para actualizarlos en consecuencia. Este es todavía un trabajo en progreso, que incluye un paso para colocar en la base de datos SQL y un paso para un lenguaje de plantillas como sweave. Tenga en cuenta que Make se basa en las pestañas en su sintaxis, así que lea el manual antes de cortar y pegar. Disfruta y da feedback!

http://www.gnu.org/software/make/manual/html_node/index.html#Top

R=/home/wsprague/R-2.9.2/bin/R

persondata.RData : ImportData.R ../../DATA/ss07por.csv Functions.R
   $R --slave -f ImportData.R

persondata.Munged.RData : MungeData.R persondata.RData Functions.R
      $R --slave -f MungeData.R

report.txt:  TabulateAndGraph.R persondata.Munged.RData Functions.R
      $R --slave -f TabulateAndGraph.R > report.txt