Cuando se trata de proyectos pequeños, ¿cuál cree que es el punto de equilibrio para almacenar datos en archivos de texto simples, tablas hash, etc., en comparación con el uso de una base de datos real? Para proyectos pequeños con requisitos simples de administración de datos, una base de datos real es una complejidad innecesaria y viola YAGNI. Sin embargo, en algún momento la complejidad de una base de datos obviamente vale la pena. ¿Cuáles son algunas señales de que su problema es demasiado complejo para técnicas ad-hoc simples y necesita una base de datos real?

Nota: Para las personas acostumbradas a entornos empresariales, esto probablemente sonará como una pregunta extraña. Sin embargo, mi dominio del problema es la bioinformática. La mayor parte de mi programación es prototipos, no código de producción. Soy principalmente un experto en dominios y, en segundo lugar, un programador. La mayor parte de mi código está centrado en algoritmos, no en la gestión de datos. El propósito de esta pregunta es en gran medida para mí averiguar cuánto trabajo podría ahorrar a largo plazo si aprendo a usar bases de datos adecuadas en mi código en lugar de las técnicas más ad-hoc que normalmente uso.