Estive lendo este site e não consegui encontrar a resposta exata. Se já existe, peço desculpas pelo repost.

Estou trabalhando com conjuntos de dados extremamente grandes (600 milhões de linhas, 64 colunas em um computador com 32 GB de RAM). Eu realmente só preciso de subconjuntos muito menores desses dados, mas estou lutando para executar quaisquer funções, além de simplesmente importar um conjunto de dados com medo e selecionar as 5 colunas necessárias. Depois disso, tento sobrescrever meu conjunto de dados com as condições específicas necessárias, mas atingi meu limite de RAM e recebo a mensagem "Erro: não é possível alocar o tamanho do vetor de 4,5 GB. Examinei os pacotes ff e bigmemory como alternativas, mas parece Como você não pode subconjunto antes de importar esses pacotes? Existe alguma solução para esse problema além de atualizar a RAM no computador?

Tarefas que estou tentando executar:

>SampleTable<-fread("my.csv", header = T, sep = ",", select=c("column1", "column2", "column7", "column12", "column15"))

>SampleTable2<-SampleTable[SampleTable[,column1=="6" & column7=="1"]]

Nesse ponto, atingi meu limite de memória. Seria melhor tentar usar outro pacote, mas importar todas as 64 colunas de 600 milhões de linhas? Também não quero gastar horas e horas apenas para executar uma importação.