Contexto Tenemos una biblioteca de almacenamiento en caché respaldada por un sistema de archivos propio. Actualmente tenemos problemas de rendimiento con una instalación debido a la gran cantidad de entradas (por ejemplo, hasta 100,000). El problema: almacenamos todas las entradas fs en un "directorio de caché". Los directorios muy grandes funcionan mal.

Estamos buscando difundir esas entradas en subdirectorios, como lo hace git, p. 100 subdirectorios con ~ 1,000 entradas cada uno.

La pregunta

Entiendo que los tamaños de directorios más pequeños ayudarán con el acceso al sistema de archivos.

Pero la "difusión en subdirectorios" acelerará el recorrido de todas las entradas, p. enumerando / leyendo las 100,000 entradas? Es decir. Cuando inicializamos / calientamos el caché de la tienda FS, necesitamos atravesar las 100,000 entradas (y eliminar las entradas antiguas) puede tomar más de 10 minutos.

La "difusión de los datos" disminuirá este "tiempo de recorrido". Además, este "recorrido" en realidad puede / elimina las entradas obsoletas (por ejemplo, anteriores a N días) ¿La "difusión de los datos" mejorará los tiempos de eliminación?

Contexto adicional -NTFS -Windows Family OS (Servidor 2003, 2008)

-Java J2ee aplicación.

Yo / nosotros agradeceríamos cualquier educación sobre problemas de escalabilidad del sistema de archivos.

Gracias por adelantado.

será

PD. Debo comentar que tengo las herramientas y la capacidad para probar esto yo mismo, pero pensé que elegiría la mente de la colmena para la teoría y la experiencia primero.