Ich habe mit R über verschiedene Big - Data - Pakete gelesen. Viele scheinen funktionsfähig zu sein, außer dass, zumindest wenn ich das Problem verstehe, viele der Pakete, die ich gerne für gängige Modelle verwende, in Verbindung mit den empfohlenen Big - Data - Paketen (z Ich verwende zum Beispiel lme4, VGAM und andere ziemlich verbreitete Varianten von Regressionsanalysepaketen, die mit den verschiedenen Big-Data-Paketen wie ff usw. nicht gut zu funktionieren scheinen.

Ich habe kürzlich versucht, mit VGAM polytome Modelle mit Daten aus der Allgemeinen Sozialerhebung zu erstellen. Als ich einige Modelle zur Ausführung anwarf, die die Häufung von Befragten in Jahren ausmachten, sowie eine Liste anderer Steuerelemente, traf ich das Ganze B. das Löschen von Speicher und die Verwendung von Matrizen, wo dies möglich ist, ohne eine gute Wirkung. Ich bin geneigt, den Arbeitsspeicher auf meinem Computer zu erhöhen (kaufe eigentlich nur einen neuen Computer mit mehr Arbeitsspeicher), aber ich möchte eine gute Vorstellung davon haben, ob dies meine Probleme lösen wird, bevor ich 1500 USD auf einem neuen Computer loslasse, insbesondere seitdem Dies ist für meinen persönlichen Gebrauch und wird ausschließlich von mir aus meinem Studentenbudget finanziert.

Gegenwärtig verwende ich einen Windows 8-Computer mit 16 GB RAM, R 3.0.2, und alle von mir verwendeten Pakete wurden auf die neuesten Versionen aktualisiert. Die Datensätze, mit denen ich in der Regel arbeite, liegen bei maximal 100.000 Einzelfällen / Befragten. In Bezug auf Analysen benötige ich möglicherweise Matrizen und / oder Datenrahmen mit vielen Zeilen, wenn ich beispielsweise 15 Variablen mit Wechselwirkungen zwischen Faktoren mit mehreren Ebenen verwende oder wenn ich für jede meiner 100.000 Zeilen mehrere Zeilen in einer Matrix haben muss Fälle, die auf der Bildung einer Reihe für jede Kategorie einiger DV für jeden Befragten basieren. Das mag für einige sozialwissenschaftliche Arbeiten eine große Rolle spielen, aber ich habe das Gefühl, dass meine Anforderungen in Bezug auf die Datenanalyse nicht allzu hoch sind. Ich bin sicher, dass viele R-Benutzer viel intensivere Analysen mit viel größeren Daten durchführen.

Ich denke, meine Frage ist folgende: Angesichts der Datengröße und der Art der Analysen, mit denen ich normalerweise arbeite, wäre dies eine angenehme Größe des Arbeitsspeichers, um Speicherfehler zu vermeiden und / oder spezielle Pakete für die Größe des Arbeitsspeichers zu verwenden Daten / Prozesse, die ich laufe? Zum Beispiel habe ich einen Computer mit 32 GB RAM im Auge. Wird das klappen? Sollte ich mich für 64 GB RAM entscheiden? Oder muss ich wirklich sozusagen in die Kugel beißen und anfangen, R mit großen Datenpaketen zu lernen, oder einfach ein anderes Statistikpaket finden oder eine intensivere Programmiersprache lernen (nicht einmal sicher, was das sein würde, Python, C ++ ??). Die letztere Option wäre natürlich auf lange Sicht nett, aber für mich im Moment eher unerschwinglich. Ich arbeite gerade an einigen Projekten, bei denen ich ähnliche Probleme habe und keine Zeit habe, unter Einhaltung der Fristen neue Sprachkenntnisse zu erwerben.

Um so genau wie möglich zu sein - Wie hoch ist die maximale Kapazität von 64-Bit-R auf einem guten Computer mit 16 GB, 32 GB und 64 GB RAM? Ich suchte herum und fand keine klaren Antworten, mit denen ich meine persönlichen Bedürfnisse zu diesem Zeitpunkt abschätzen konnte.