Estoy en el proceso de optimizar una importación de ~ 10 TB de datos en una base de datos MySQL. Actualmente, puedo importar 2.9GB (+ 0.8GB index) en aproximadamente 14 minutos en una computadora portátil actual. El proceso incluye leer un archivo de datos (exportación ".dat" de Oracle), analizar los datos, escribir los datos en un archivo CSV y ejecutar el comando sql "LOAD DATA LOCAL" en él.

¿Es posible aumentar la velocidad de importación (sin cambios de hardware)? ¿Hay alguna manera de eliminar el paso de escribir un archivo en el sistema de archivos y dejar que MySQL lo lea de nuevo? ¿Es posible transmitir los datos en la memoria directamente a MySQL (por ejemplo, a través del controlador JDBC)?

Muchas gracias de antemano, Joerg.