Spark 1.4 aumenta a memória maxResultSize

Estou usando o Spark 1.4 para minha pesquisa e lutando com as configurações de memória. Minha máquina possui 16 GB de memória, portanto não há problema, pois o tamanho do meu arquivo é de apenas 300 MB. Embora, quando eu tento converter Spark RDD em panda dataframe usandotoPandas() função, recebo o seguinte erro:

serialized results of 9 tasks (1096.9 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

Tentei corrigir isso alterando o arquivo spark-config e ainda recebendo o mesmo erro. Ouvi dizer que este é um problema com o spark 1.4 e me pergunto se você sabe como resolver isso. Qualquer ajuda é muito apreciada.