Necesito escapar de todas las comillas (') en una cadena, para que se convierta en \'

He intentado usar replaceAll, pero no hace nada. Por alguna razón no puedo hacer que la expresión regular funcione.

Estoy tratando con

String s = "You'll be totally awesome, I'm really terrible";
String shouldBecome = "You\'ll be totally awesome, I\'m really terrible";
s = s.replaceAll("'","\\'"); // Doesn't do anything
s = s.replaceAll("\'","\\'"); // Doesn't do anything
s = s.replaceAll("\\'","\\'"); // Doesn't do anything

Estoy realmente atascado aquí, espero que alguien me pueda ayudar aquí.

Gracias,

Iwan