Ich führe einige Vorgänge in PySpark aus und habe kürzlich die Anzahl der Knoten in meiner Konfiguration (die sich in Amazon EMR befindet) erhöht. Obwohl ich die Anzahl der Knoten verdreifacht habe (von 4 auf 12), scheint sich die Leistung nicht geändert zu haben. Als solches würde ich gerne sehen, ob die neuen Knoten für Spark sichtbar sind.

Ich rufe folgende Funktion auf:

sc.defaultParallelism
>>>> 2

Aber ich denke, das zeigt mir die Gesamtzahl der auf jeden Knoten verteilten Aufgaben, nicht die Gesamtzahl der Codes, die Spark sehen kann.

Wie kann ich feststellen, wie viele Knoten PySpark in meinem Cluster verwendet?