Bester Ansatz für die Verarbeitung großer Dateien mit Spring Batch

Ich verwende Spring Batch, um eine große Datei herunterzuladen und zu verarbeiten. das szenario ist ziemlich einfach:

1. Download the file via http
2. process it(validations,transformations)
3. send it into queue
keine Notwendigkeit, die Eingabedateidaten zu speichern.öglicherweise werden mehrere Jobinstanzen (desselben Szenarios) gleichzeitig ausgeführt.

ch suche nach bewährten Methoden, um mit dieser Situation umzugehe

Soll ich ein Tasklet erstellen, um die Datei lokal herunterzuladen und dann die Verarbeitung in regelmäßigen Schritten zu starten?
In diesem Fall muss ich einige Probleme mit temporären Dateien berücksichtigen (stellen Sie sicher, dass ich sie lösche, dass ich andere temporäre Dateinamen usw. nicht überschreibe.)

In der anderen Hand könnte ich es herunterladen und im Speicher behalten, aber dann befürchte ich, dass, wenn ich viele Jobs starte, die Instanzen sehr bald nicht mehr im Speicher sind.

Wie würden Sie vorschlagen, dieses Szenario festzunageln? Soll ich überhaupt Tasklet benutzen?

Danke

Antworten auf die Frage(4)

Ihre Antwort auf die Frage