Я играл с использованием графиков для анализа больших данных. Он работал отлично и действительно весело, но мне интересно, что делать, когда данные становятся все больше и больше?

Дайте мне знать, если есть какое-то другое решение, но я подумал о том, чтобы попробовать Hbase, потому что он масштабируется горизонтально, и я могу заставить Hadoop запускать аналитику на графике (большая часть моего кода уже написана на Java), но я не уверен, как структурировать график в базе данных nosql? Я знаю, что каждый узел может быть записью в базе данных, но я не уверен, как моделировать ребра и добавлять к ним свойства (например, имя узлов, атрибуты, pagerank, веса на ребрах и т. Д.).

Видя, как hbase / hadoop моделируется после больших таблиц и уменьшения карты, я подозреваю, что есть способ сделать это, но не уверен, как это сделать. Какие-либо предложения?

Кроме того, имеет ли это смысл то, что я пытаюсь сделать? или есть ли лучшие решения для больших графов данных?