Suchergebnisse für Anfrage "large-data"
Stream analysiert 4 GB XML-Datei in PHP
Ich versuche und brauche Hilfe bei folgenden Aufgaben:Ich möchte eine große XML-Datei (4 GB) mit PHP streamen und analysieren. Ich kann kein einfaches XML od...
Warum nimmt MongoDB so viel Platz ein?
Ich versuche, Datensätze mit einer Reihe von Double- und Ints-Werten (ca. 15-20) in mongoDB zu speichern. Die meisten Datensätze (99,99%) haben dieselbe Stru...
R konnte beim ff-Vorgang keinen Speicher zuweisen. Woher?
Ich arbeite an einem 64-Bit-Windows Server 2008-Computer mit Intel Xeon-Prozessor und 24 GB RAM. Ich habe Probleme beim Lesen einer bestimmten TSV-Datei (tabulatorgetrennt) mit 11 GB (> 24 Millionen Zeilen, 20 Spalten). Mein üblicher ...
Importieren Sie die Textdatei mit dem ff-Paket
Ich habe eine Textdatei von 4,5 Millionen Zeilen und 90 Spalten zum Importieren in R. Usingread.table Ich bekomme diecannot allocate vector of size... Ich versuche also, die Daten mithilfe des ff-Pakets zu importieren, bevor ich sie untersetze, ...
Zwischenzentralität für relativ große Datenmengen
Mit R versuche ich, die Betweenness-Zentralität für etwa 1 Million Knoten und mehr als 20 Millionen Kanten zu berechnen. Dazu habe ich eine ziemlich anständige Maschine mit 128 GB RAM und 4 * 2,40 GHz CPU und einem 64-Bit-Fenster. Die Verwendung ...
Wie lese ich nur Zeilen, die eine Bedingung von einer CSV in R erfüllen?
Ich versuche, eine große csv-Datei in R zu lesen. Obwohl die Datei groß ist, möchte ich nur mit einigen der Zeilen arbeiten, die eine bestimmte Bedingung erfüllen (z. B. Variable2> = 3). Dies ist ein viel kleinerer Datensatz. Ich möchte diese ...
Wie finde ich alle eindeutigen Teilzeichenfolgen einer sehr langen Zeichenfolge?
Ich habe eine sehr lange Saite. Ich möchte alle eindeutigen Teilzeichenfolgen dieser Zeichenfolge finden. Ich habe versucht, den Code dort zu schreiben, wo ich a verwendet habeeinstellen(Python) zum Speichern aller Teilzeichenfolgen, um die ...
Symfony2 / Doctrine make $ statement-> execute () puffert nicht alle Werte
Ich habe einen grundlegenden Codesatz wie diesen (in einem Controller): $sql = 'select * from someLargeTable limit 1000'; $em = $this->getDoctrine()->getManager(); $conn = $em->getConnection(); $statement = $conn->prepare($sql); ...
Log-Berechnungen in Python
Ich möchte etwas berechnen wie: Wof(i) ist eine Funktion, die eine reelle Zahl in @ zurückgi[-1,1] für ein beliebigesi im{1,2,...,5000}. ffensichtlich ist das Ergebnis der Summe irgendwo in[-1,1], aber wenn ich nicht in der Lage zu sein ...
MemoryError - So laden Sie große Dateien mit Python @ über das Google Drive SDK herunt
Beim Herunterladen großer Dateien von meinem Google Drive geht mir der Speicherplatz aus. Ich nehme das antmp = content.read(1024) funktioniert nicht, aber wie kann ich das beheben? Vielen Dank def download_file(service, file_id): drive_file ...