He estado jugando con el uso de gráficos para analizar grandes datos. Ha estado funcionando muy bien y muy divertido, pero me pregunto qué hacer a medida que los datos se hacen cada vez más grandes.

Avíseme si hay alguna otra solución, pero pensé en probar Hbase porque se escala horizontalmente y puedo hacer que hadoop ejecute análisis en el gráfico (la mayor parte de mi código ya está escrito en Java), pero no estoy seguro de cómo estructurar un gráfico en una base de datos nosql? Sé que cada nodo puede ser una entrada en la base de datos, pero no estoy seguro de cómo modelar bordes y agregarles propiedades (como el nombre de los nodos, atributos, pagerank, pesos en los bordes, etc.).

Ver cómo se modela hbase / hadoop después de tablas grandes y reducción de mapas Sospecho que hay una manera de hacerlo, pero no estoy seguro de cómo hacerlo. ¿Alguna sugerencia

Además, ¿tiene sentido lo que estoy tratando de hacer? ¿O hay mejores soluciones para los gráficos de Big Data?