¿Cómo lidias con muchos archivos pequeños?

Un producto en el que estoy trabajando recopila varios miles de lecturas por día y las almacena como archivos binarios de 64k en una partición NTFS (Windows XP). Después de un año de producción, hay más de 300000 archivos en un solo directorio y el número sigue creciendo. Esto ha hecho que el acceso a los directorios padre / ancestro desde el explorador de Windows requiera mucho tiempo.

He intentado desactivar el servicio de indexación, pero eso no hizo ninguna diferencia. También he contemplado mover el contenido del archivo a una base de datos / archivos zip / tarballs, pero es beneficioso para nosotros acceder a los archivos individualmente; Básicamente, los archivos aún son necesarios para fines de investigación y los investigadores no están dispuestos a tratar con nada más.

¿Hay alguna forma de optimizar NTFS o Windows para que pueda trabajar con todos estos archivos pequeños?

Respuestas a la pregunta(4)

Su respuesta a la pregunta