Я читал о различных пакетах больших данных с R. Многие кажутся работоспособными, за исключением того, что, по крайней мере, как я понимаю проблему, многие из пакетов, которые я хотел бы использовать для распространенных моделей, не будут доступны в сочетании с рекомендованными пакетами больших данных (для Например, я использую lme4, VGAM и другие довольно распространенные варианты пакетов регрессионного анализа, которые неПохоже, он хорошо работает с различными пакетами больших данных, такими как ff и т. д.).

Недавно я пытался использовать VGAM для создания политомных моделей, используя данные общего социального опроса. Когда я включил несколько моделей, которые учитывали кластеризацию респондентов по годам, а также список других элементов управления, я начал бить по всему »не может выделить вектор размером Ядда Ядда ... "Я"Мы пробовали различные рекомендуемые элементы, такие как очистка памяти и использование матриц, где это возможно, безрезультатно. Я склонен увеличивать ОЗУ на моей машине (на самом деле, просто купить новую машину с большей оперативной памятью), но я хочу получить четкое представление о том, решит ли это мои проблемы, прежде чем отпустить 1500 долларов на новую машину, особенно с тех пор, как это для моего личного использования и будет финансироваться исключительно из бюджета моего аспиранта.

В настоящее время я использую компьютер с Windows 8 с 16 ГБ ОЗУ, R 3.0.2, и все используемые мной пакеты обновлены до самых последних версий. Наборы данных, с которыми я обычно работаю, не превышают 100 000 отдельных случаев / респондентов. Что касается анализа, мне могут понадобиться матрицы и / или кадры данных, которые имеют много строк, если, например, я использую 15 переменных с взаимодействиями между факторами, имеющими несколько уровней, или если мне нужно иметь несколько строк в матрице для каждого из моих 100 000 случаи, основанные на формировании строки для каждой категории некоторых DV для каждого респондента. Это может быть большим прикосновением к некоторым работам в области социальных наук, но я чувствую, что в общих чертах мои требования на самом деле не настолько велики, как анализ данных. Я'Я уверен, что многие пользователи R проводят гораздо более интенсивный анализ гораздо больших данных.

Итак, я думаю, что мой вопрос заключается в следующем - учитывая размер данных и типы анализов, которые яЯ обычно работаю с тем, что было бы удобным объемом оперативной памяти, чтобы избежать ошибок памяти и / или необходимости использовать специальные пакеты для обработки размера данных / процессов, которые я 'я бегу? Например, яЯ доволен машиной, которая имеет 32 ГБ оперативной памяти. Будет ли это сократить? Должен ли я пойти на 64 ГБ оперативной памяти? Или мне действительно нужно прикусить, так сказать, и начать учиться использовать R с пакетами больших данных, или, может быть, просто найти другой пакет статистики или выучить более интенсивный язык программирования (даже не зная, что это будет, Python, C ++ ??). Последний вариант, конечно, был бы хорош в долгосрочной перспективе, но на данный момент для меня это было бы довольно непомерно. Я'м в середине потока на несколько проектов, где я бьюсь о подобных проблемах и неу нас нет времени на то, чтобы вместе вырабатывать новые языковые навыки в установленные сроки.

Чтобы быть как можно более конкретным - Какова максимальная возможность 64-битного R на хорошей машине с 16 ГБ, 32 ГБ и 64 ГБ ОЗУ? Я искал вокруг и неЯ не могу найти четких ответов, которые я мог бы использовать, чтобы оценить свои личные потребности в настоящее время.