egexp genérico usando a variável jquery para substituir ponto, dois pontos ou qualquer outro caracte

Eu tenho um código jquery que apara o caractere inicial e final (passado do programa de chamada). Estou usando uma variável no RegExp para substituir o caractere por em branco. Como posso fazer o RegExp funcionar para qualquer caractere passado do programa de chamada? Aqui está o código simplificado:

var time = ":1h:45m:34s:";
var chr= ':'; //can have . or , or any other character
var regex = new RegExp("(^" + chr + ")|(" + chr+ "$)" , "g"); //works for colon but not for dot.
//var regex = new RegExp("(^/" + chr + ")|(/" + chr+ "$)" , "g"); //for dot I added / but not for colon.
var formattedtime = time.replace(regex, "");

Saídas esperadas:

1. time = ":1h:45m:34s:"; 
chr = ":";
Output: 1h:45m:34s
2. time = "1h:45m:34s"; 
chr = ":";
Output: 1h:45m:34s
3. time = ".45m.34s"; 
chr = ".";
Output: 45m.34s
4. time = "1h.45m.34s."; 
chr = ".";
Output: 1h.45m.34s

Como posso fazer o regexp funcionar para qualquer personage

questionAnswers(6)

yourAnswerToTheQuestion