Lazy foreach auf einem Spark RDD

Ich habe eine große RDD von Strings (erhalten durch eine Vereinigung von mehrerensc.textFile(...)).

Ich möchte jetzt nach einer bestimmten Zeichenfolge in dieser RDD suchen und die Suche stoppen, wenn eine "gut genug" Übereinstimmung gefunden wurde.

Ich könnte nachrüstenforeach, oderfilter, odermapzu diesem Zweck, aber alle diese werden durch jedes Element in dieser RDD iteriert, unabhängig davon, ob die Übereinstimmung erreicht wurde.

ibt es eine Möglichkeit, diesen Prozess kurzzuschließen und das Durchlaufen der gesamten RDD zu vermeide

Antworten auf die Frage(4)

Ihre Antwort auf die Frage