Qual é a minha pergunta:

Maneira eficiente de manter um quadro de dados h2oH2O rodando mais lentamente que o data.table RCarregando dados maiores que o tamanho da memória em h2o

Hardware / Espaço:

32 threads Xeon com ~ 256 GB de RAM~ 65 GB de dados para upload. (cerca de 5,6 bilhões de células)

Problema:
Está demorando horas para carregar meus dados no h2o. Este não é um processamento especial, apenas "as.h2o (...)".

Demora menos de um minuto usando "fread" para inserir o texto no espaço e, em seguida, faço algumas transformações de linha / coluna (diff's, defasagens) e tento importar.

A memória R total é de ~ 56GB antes de tentar qualquer tipo de "as.h2o", portanto os 128 alocados não devem ser muito loucos, devem?

Pergunta, questão:
O que posso fazer para levar menos de uma hora para carregar o h2o? Deve levar de um minuto a alguns minutos, não mais.

O que eu tentei:

RAM de até 128 GB em 'h2o.init'usando slam, data.table e opções (...converter para "as.data.frame" antes de "as.h2o"escreva no arquivo csv (r write.csv engasga e leva uma eternidade. No entanto, está escrevendo muitos GB, pelo que entendi).escreva para sqlite3, muitas colunas para uma tabela, o que é estranho.Verifiquei o cache / swap da unidade para garantir que haja GB suficientes lá. Talvez o java esteja usando cache. (ainda trabalhando)

Atualizar:
Portanto, parece que minha única opção é criar um arquivo de texto gigante e usar "h2o.importFile (...)" para ele. Tenho até 15 GB de escrita.

Update2:
É um arquivo csv hediondo, com ~ 22 GB (~ 2.4Mrows, ~ 2300 cols). Pelo que valeu a pena, demorou 12:53 até 14:44 para escrever o arquivo csv. Importá-lo foi substancialmente mais rápido depois que ele foi gravado.