Czy ktoś ma jakąś wiedzę na temat przepływów pracy do analizy danych związanych z niestandardowym pisaniem raportów? Sprawa jest zasadniczo taka:

Klient zleca raport wykorzystujący analizę danych, np. oszacowanie populacji i powiązane mapy dla dzielnicy wodnej.

Analityk pobiera niektóre dane, usuwa dane i zapisuje wynik (np. Dodając kolumnę dla populacji na jednostkę lub zestawiając dane na podstawie granic dzielnic).

Analityk analizuje dane utworzone w (2), zbliża się do jej celu, ale widzi, że potrzebuje więcej danych i wraca do (1).

Płukanie powtarzaj, aż tabele i grafika spełnią wymagania QA / QC i zadowolą klienta.

Napisz raport zawierający tabele i grafikę.

W przyszłym roku szczęśliwy klient wraca i chce aktualizacji. Powinno to być tak proste, jak zaktualizowanie danych źródłowych o nowe pobranie (np. Uzyskanie pozwolenia na budowę z zeszłego roku) i naciśnięcie przycisku „RECALCULATE”, chyba że specyfikacja ulegnie zmianie.

W tej chwili po prostu uruchamiam katalog i ad-hoc najlepiej jak potrafię. Chciałbym bardziej systematycznego podejścia, więc mam nadzieję, że ktoś to wymyślił ... Używam mieszanki arkuszy kalkulacyjnych, narzędzi SQL, ARCGIS, R i Unix.

Dzięki!

PS:

Poniżej znajduje się podstawowy plik Makefile, który sprawdza zależności od różnych pośrednich zestawów danych (w /.RData sufiks) i skrypty (.R przyrostek). Używaj znaczników czasu do sprawdzania zależności, więc jeślitouch ss07por.csv, zobaczy, że ten plik jest nowszy niż wszystkie pliki / cele, które od niego zależą, i wykona podane skrypty, aby odpowiednio je zaktualizować. Nadal jest to praca w toku, w tym krok do wprowadzenia do bazy danych SQL, a także krok w kierunku języka szablonowego, takiego jak zamiatanie. Zauważ, że Make opiera się na kartach w swojej składni, więc przeczytaj instrukcję przed cięciem i wklejaniem. Ciesz się i wyrażaj opinie!

http://www.gnu.org/software/make/manual/html_node/index.html#Top

R=/home/wsprague/R-2.9.2/bin/R

persondata.RData : ImportData.R ../../DATA/ss07por.csv Functions.R
   $R --slave -f ImportData.R

persondata.Munged.RData : MungeData.R persondata.RData Functions.R
      $R --slave -f MungeData.R

report.txt:  TabulateAndGraph.R persondata.Munged.RData Functions.R
      $R --slave -f TabulateAndGraph.R > report.txt