Temos uma arquitetura em que fornecemos a cada cliente serviços semelhantes a Business Intelligence para seu site (comerciante da Internet). Agora, preciso analisar esses dados internamente (para melhoria algorítmica, rastreamento de desempenho, etc.) e esses são potencialmente bastante pesados: temos até milhões de linhas / cliente / dia e talvez eu queira saber quantas consultas tivemos no último mês, comparamos semanalmente, etc ... essa é a ordem das entradas de bilhões, se não mais.

A maneira como isso é feito atualmente é bastante padrão: scripts diários que examinam os bancos de dados e geram grandes arquivos CSV. Não gosto dessas soluções por vários motivos:

como é típico nesses tipos de scripts, eles se enquadram na categoria de gravação única e nunca tocada novamenteé necessário rastrear coisas em "tempo real" (temos um conjunto de ferramentas separado para consultar as últimas horas no caixa eletrônico).isso é lento e não é "ágil"

Embora eu tenha alguma experiência em lidar com grandes conjuntos de dados para uso científico, sou um iniciante completo no que diz respeito ao RDBM tradicional. Parece que o uso de banco de dados orientado a colunas para análise pode ser uma solução (a análise não precisa da maioria dos dados que temos no banco de dados de aplicativos), mas eu gostaria de saber quais outras opções estão disponíveis para esse tipo de problema.