Ich schreibe ein Programm, das riesige Datenmengen (in Teilen unterschiedlicher Größe) aus dem Netzwerk empfängt, verarbeitet und in den Speicher schreibt. Da einige Daten sehr groß sein können, beschränke ich derzeit die verwendete Puffergröße. Wenn ein Stück größer als die maximale Puffergröße ist, schreibe ich die Daten in eine temporäre Datei und lese die Datei später in Stücken zur Verarbeitung und dauerhaften Speicherung.

Ich frage mich, ob dies verbessert werden kann. Ich habe eine Weile über mmap gelesen, bin mir aber nicht hundertprozentig sicher, ob es mir helfen kann. Meine Idee ist, mmap zum Lesen der temporären Datei zu verwenden. Hilft das in irgendeiner Weise? Die Hauptsache, die mir Sorgen macht, ist, dass eine gelegentlich große Datenmenge meinen Hauptspeicher nicht füllen und alles andere ausgelagert wird.

Denken Sie auch, dass der Ansatz mit temporären Dateien nützlich ist? Sollte ich das überhaupt tun oder sollte ich mich darauf verlassen, dass der Linux-Speichermanager die Arbeit für mich erledigt? Oder sollte ich etwas anderes machen?