Matrixmultiplikation mit hdf5

Hadoop 2 IOException nur beim Versuch, vermeintliche Cache-Dateien zu öffnen

Ich habe kürzlich auf Hadoop 2.2 aktualisiert (mit diesem TutorialHier).Meine Hauptberufsklasse sieht so aus und löst eine IOException aus:

Django + Postgres + Große Zeitreihen

Ich suche ein Projekt mit großen, meist unkomprimierbaren Zeitreihendaten und frage mich, ob Django + Postgres mit Raw SQL der richtige Aufruf ist. Ich habe Zeitreihendaten, die jede Stunde ~ 2K Objekte / Stunde betragen. Das sind ungefähr 2 ...

Speicherzuordnungsdatei in MATLAB?

Ich habe mich für memmapfile entschieden, weil meine Daten (normalerweise 30 GB bis 60 GB) zu groß sind, um in den Arbeitsspeicher eines Computers zu passen. Meine Datendateien bestehen aus zwei Datenspalten, die den Ausgaben von zwei Sensoren ...

Aggregation mit der Funktion ffdfdply in R

Ich habe versucht, große Datenmengen mit dem Paket 'ffbase' zu aggregierenffdfdply Funktion in R. Nehmen wir an, ich habe drei Variablen namens Datum, Artikel und Umsatz. Hier möchte ich den Umsatz über Datum und Artikel mit der Summenfunktion ...

Clustering eines sehr großen Datensatzes in R

Ich habe einen Datensatz bestehend aus 70.000 numerischen Werten, die Entfernungen von 0 bis 50 darstellen, und ich möchte diese Zahlen gruppieren. Wenn ich jedoch den klassischen Clustering-Ansatz versuche, müsste ich eine Distanzmatrix von ...

Hive Table gibt für alle Abfragen eine leere Ergebnismenge zurück

Ich habe eine Hive-Tabelle erstellt, die Daten aus einer Textdatei lädt. Die zurückgegebene leere Ergebnismenge gilt jedoch für alle Abfragen. Ich habe den folgenden Befehl ausprobiert: CREATE TABLE table2( id1 INT, id2 INT, id3 INT, id4 ...

Wie Hive Conf Variable in Hive Udf übergeben?

Ich möchte die Variable hive conf an die Variable hive UDF übergeben. Unten ist ein Code-Snippet. hive -f ../hive/testHive.sql -hivevar testArg=${testArg}Unten ist ein Bienenstock-UDF-Aufruf. select ...

Fehler beim Schreiben von Versatzdaten an den Tierpfleger im Kafka-Sturm

Ich habe einen Sturmcluster eingerichtet, um Echtzeit - Trends und andere Statistiken zu berechnen. Ich habe jedoch einige Probleme, die "Wiederherstellungs" - Funktion in dieses Projekt einzuführen, indem ich den Offset zulasse, der zuletzt von ...

Exportieren Sie große Datenmengen von Cassandra nach CSV

Ich verwende Cassandra 2.0.9 zum Speichern ziemlich großer Datenmengen, sagen wir 100 GB, in einer Spaltenfamilie. Ich möchte diese Daten schnell in CSV exportieren. Ich habe es versucht: sstable2json- Es werden ziemlich große JSON-Dateien ...