dividir una base de datos de texto grande (xyz) en x partes iguales

Question

Mar 08, 2012, 05:27 AM

dividir una base de datos de texto grande (xyz) en x partes iguales

Quiero dividir una base de datos de texto grande (~ 10 millones de líneas). Puedo usar un comando como

$ sed -i -e '4 s/(dB)//' -e '4 s/Best\ unit/Best_Unit/' -e '1,3 d' '/cygdrive/c/                                                                                                                      Radio Mobile/Output/TRC_TestProcess/trc_longlands.txt'

$ split -l 1000000  /cygdrive/P/2012/Job_044_DM_Radio_Propogation/Working/FinalPropogation/TRC_Longlands/trc_longlands.txt 1

La primera línea es limpiar el databse y la siguiente es dividirlo, pero luego los archivos de salida no tienen los nombres de campo. ¿Cómo puedo incorporar los nombres de campo en cada conjunto de datos y canalizar una lista que contiene el archivo original, el nuevo nombre de archivo y los números de línea (del archivo original)? Esto es para que pueda usarse en el modelo arcgis para volver a unir los conjuntos de datos poligonales simplificados finales.

ALTERNATIVAMENTE Y MÁS ÚTIL: como esto necesita entrar en un modelo de arco, una solución basada en Python es la mejor. Más detalles están enhttps: //gis.stackexchange.com/questions/21420/large-point-to-polygon-by-buffer-join-buffer-dissolve-issues#comment29062_2142 yRetire líneas específicas de un archivo de texto grande en python

SO IR CON UNA solución Python basada en CYGWIN según la respuesta de icyrock.com

Tenemos process_text.sh

cd  /cygdrive/P/2012/Job_044_DM_Radio_Propogation/Working/FinalPropogation/TRC_Longlands
mkdir processing
cp trc_longlands.txt processing/trc_longlands.txt
cd txt_processing
sed -i -e '4 s/(dB)//' -e '4 s/Best\ unit/Best_Unit/' -e '1,3 d' 'trc_longlands.txt'
split -l 1000000  trc_longlands.txt trc_longlands_
cat > a
h
1
2
3
4
5
6
7
8
9
^D
split -l 3
split -l 3 a 1
mv 1aa 21aa
for i in 1*; do head -n1 21aa|cat - $i > 2$i; done
for i in 21*; do echo ---- $i; cat $i; done

how puede "TRC_Longlands" y la ruta se reemplazará con el nombre de archivo de entrada: en Python tenemos% ruta% /% nombre para esto. en la última línea es necesario "hacer eco"?

y Python llama a esto usando

import os
os.system("process_text.bat")

where process_text.bat es básicamente

bash process_text.sh

Me sale el siguiente error cuando se ejecuta desde dos ...

C: \ Users \ georgec> bash P: \ 2012 \ Job_044_DM_Radio_Propogation \ Working \ FinalPropogat ion \ TRC_Longlands \ process_text.sh 'bash' no se reconoce como un comando interno o externo, un programa operativo o un archivo por lotes.

también cuando ejecuto el comando bash desde cygwin -Yo obtengo

georgec @ ATGIS25 / cygdrive / P / 2012 / Job_044_DM_Radio_Propogation / Working / FinalPropogation / TRC_Longlands $ bash process_text.sh: No existe ese archivo o directorio: / cygdrive / P / 2012 / Job_044_DM_Radio_Propogation / Working / FinalPropolands / TRC no se puede crear un archivo regular: `processing / trc_longlands.txt \ r ': No existe tal archivo o directorio: No existe tal archivo o directorio: txt_processing: No existe tal archivo o directoriods.txt

pero los archivos se crean en el directorio raíz.

por qué hay un "." después del nombre del directorio? ¿Cómo se les puede dar una extensión .txt?