Esta questão já tem uma resposta aqui:

Eu estou correndo de vez em quando em tarefas de eclipse que exigem muito grande quantidade de memória. Então, enquanto jvm tarefa está sendo executado engole cerca de 2-3gb de RAM, isso é ok. Mas uma vez que o jvm pegou essa memória, ela não é liberada e eu tenho uma situação quando a memória usada no heap é de aproximadamente 200mb com o tamanho total do heap de 3GB e isso é realmente indesejado, já que outros programas estão morrendo de falta de memória.

eu tenteiMax/MinHeapFreeRatio parâmetros para forçar o jvm a reduzir o consumo de uma memória não utilizada. Esse é o meu eclipseconfig.ini Arquivo:

-startup
plugins/org.eclipse.equinox.launcher_1.2.0.v20110502.jar
--launcher.library
plugins/org.eclipse.equinox.launcher.win32.win32.x86_64_1.1.100.v20110502
-vm
c:/Program Files/Java/jdk1.6.0_26/bin/javaw.exe
-showlocation
-product
org.eclipse.epp.package.jee.product
--launcher.defaultAction
openFile
--launcher.XXMaxPermSize
256M
-showsplash
org.eclipse.platform
--launcher.XXMaxPermSize
256m
--launcher.defaultAction
openFile
-vmargs
-Duser.name=Michael Nesterenko
-Dosgi.requiredJavaVersion=1.5
-Xms512m
-Xmx4096m
-XX:MinHeapFreeRatio=10
-XX:MaxHeapFreeRatio=30

Mas isso não ajuda, ainda tenho situações em que há muita memória não utilizada.