Estoy usando Spark 1.4 para mi investigación y estoy luchando con la configuración de memoria. Mi máquina tiene 16 GB de memoria, así que no hay problema, ya que el tamaño de mi archivo es de solo 300 MB. Sin embargo, cuando intento convertir Spark RDD a trama de datos de panda usandotoPandas() función recibo el siguiente error:

serialized results of 9 tasks (1096.9 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

Intenté arreglar esto cambiando el archivo spark-config y aún obteniendo el mismo error. He oído que este es un problema con la chispa 1.4 y me pregunto si sabes cómo resolver esto. Cualquier ayuda es muy apreciada.