Bulk Insert Performance in MongoDB für große Sammlungen

Ich verwende den BulkWriteOperation (Java-Treiber), um Daten in großen Blöcken zu speichern. Zunächst scheint es gut zu funktionieren, aber wenn die Sammlung größer wird, können die Beilagen ziemlich viel Zeit in Anspruch nehmen.

ei einer Sammlung von 20 Millionen Dokumenten kann die Masseneinfügung von 1000 Dokumenten derzeit etwa 10 Sekunden dauer

Gibt es eine Möglichkeit, Beilagen unabhängig von der Größe der Sammlung zu machen? Ich habe keine Updates oder Upserts. Es handelt sich immer um neue Daten, die ich einfüge.

Judging aus dem Protokoll, scheint es kein Problem mit Sperren zu geben. Jedes Dokument hat ein Zeitfeld, das indiziert ist, aber es wächst linear, sodass ich nicht sehe, dass sich der Mongo die Zeit nimmt, die Indizes neu zu organisieren.

Ich würde gerne einige Ideen zur Verbesserung der Leistung hören

Vielen Dan

Antworten auf die Frage(6)

Ihre Antwort auf die Frage