Tengo un requisito cuando estoy leyendo un archivo de texto colocado en Unix de tamaño 19 GB y tengo registros de alrededor de 115 millones. My Spring Batch (Launcher) se activa mediante Autosys y el script de Shell una vez que el archivo se coloca en la ubicación.

Inicialmente, en la ejecución de este proceso, tomó alrededor de 72 horas leer, procesar (comprobaciones nulas y análisis de fechas) y escribir los datos en la base de datos Oracle.

Pero después de ciertos cambios de configuración, como el uso de Throttle Limit, Task Executor, etc., pude reducir el tiempo de ejecución a 28 horas actualmente. Necesito que este proceso se complete en 4 horas, también, usando el cargador SQL por separado, estoy haciendo el trabajo en 35 minutos. Pero tengo que usar solo Spring Batch.

¿Alguien puede decirme si es posible hacerlo en menos de 4 horas con el lote de primavera y cuál puede ser la mejor manera de lograrlo?