Eu descobri recentemente as maravilhas dos pacotesbigmemory, ff efilehash para lidar com matrizes muito grandes.

Como posso lidar com listas muito grandes (300MB ++)? No meu trabalho eu trabalho com essas listas todos os dias todos os dias. Eu posso fazer solução band-aid comsave() & load() hacks em todos os lugares, mas eu preferiria umbigmemorycomo a solução. Algo como umbigmemory bigmatrix seria ideal, onde eu trabalho com isso basicamente de forma idêntica a ummatrix exceto que pega algo como 660 bytes na minha RAM.

Essas listas são principalmente>1000 listas de comprimento delm() objetos (ou objetos de regressão semelhantes). Por exemplo,

Y <- rnorm(1000) ; X <- rnorm(1000)
A <- lapply(1:6000, function(i) lm(Y~X))
B <- lapply(1:6000, function(i) lm(Y~X))
C <- lapply(1:6000, function(i) lm(Y~X))
D <- lapply(1:6000, function(i) lm(Y~X))
E <- lapply(1:6000, function(i) lm(Y~X))
F <- lapply(1:6000, function(i) lm(Y~X))

No meu projeto tereiA,B,C,D,E,Flistas do tipo (e até mais do que isso) que eu tenho que trabalhar de forma interativa.

Se estas eram matrizes gigantescas, há uma tonelada de apoio. Eu queria saber se havia algum suporte similar em qualquer pacote para grandeslist objetos.