Ich verwende Spark 1.4 für meine Recherchen und kämpfe mit den Speichereinstellungen. Mein Computer hat 16 GB Speicher, also kein Problem, da meine Datei nur 300 MB groß ist. Wenn ich jedoch versuche, Spark RDD mit @ in Panda DataFrame zu konvertiertoPandas() function Ich erhalte die folgende Fehlermeldung:

serialized results of 9 tasks (1096.9 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

Ich habe versucht, dieses Problem zu beheben, indem ich die Spark-Konfigurationsdatei geändert habe und trotzdem den gleichen Fehler erhalten habe. Ich habe gehört, dass dies ein Problem mit Spark 1.4 ist und ich frage mich, ob Sie wissen, wie Sie dieses Problem lösen können. Jede Hilfe wird sehr geschätzt.