O código de validação do JQuery não permitirá a exclusão do texto digitado

Eu pedi emprestado um pouco de código desta questão (veja a resposta 4):

Como faço para bloquear ou restringir caracteres especiais de campos de entrada com jquery?

No entanto, ao usar o código, parece que, embora ele faça a validação conforme você digita corretamente, ele não permite editar nada que você tenha digitado.

$('input').bind('keypress', function (event) {
var regex = new RegExp("^[a-zA-Z0-9]+$");
var key = String.fromCharCode(!event.charCode ? event.which : event.charCode);
if (!regex.test(key)) {
   event.preventDefault();
   return false;
}});

Eu estou um pouco confuso, eu tentei ajustá-lo, alterando o keypress para keyup, mas isso só impede a validação de trabalhar. Quaisquer ponteiros seriam graciosamente aceitos.

questionAnswers(2)

yourAnswerToTheQuestion