ал на этом сайте и не смог найти точного ответа. Если он уже существует, прошу прощения за репост.

Я работаю с очень большими наборами данных (600 миллионов строк, 64 столбца на компьютере с 32 ГБ ОЗУ). Мне действительно нужны только гораздо меньшие подмножества этих данных, но я изо всех сил пытаюсь выполнить любые функции, помимо простого импорта одного набора данных с помощью fread и выбора 5 нужных мне столбцов. После этого я пытаюсь перезаписать свой набор данных конкретными условиями, которые мне нужны, но я ударился об ограничении ОЗУ и получаю сообщение «Ошибка: невозможно выделить вектор размером 4,5 ГБ. Я рассматривал пакеты ff и bigmemory как альтернативы, но, похоже, как вы не можете подмножество, прежде чем импортировать в эти пакеты? Есть ли какое-либо решение этой проблемы, кроме обновления оперативной памяти на компьютере?

Задачи, которые я пытаюсь выполнить:

>SampleTable<-fread("my.csv", header = T, sep = ",", select=c("column1", "column2", "column7", "column12", "column15"))

>SampleTable2<-SampleTable[SampleTable[,column1=="6" & column7=="1"]]

В этот момент я попал в мою шапку памяти. Было бы лучше попробовать использовать другой пакет, но импортировать все 64 столбца по 600 миллионов строк? Я также не хочу часами часами просто выполнять один импорт.