Eliminar todas las apariciones de char de la cadena

Puedo usar esto:

String str = "TextX Xto modifyX";
str = str.replace('X','');//that does not work because there is no such character ''

¿Hay alguna manera de eliminar todas las apariciones de personajes?X de una cadena en Java?

Intenté esto y no es lo que quiero:str.replace('X',' '); //replace with space