MVC3 Remover erros do ModelState

Tenho uma situação em que estou carregando uma imagem que o usuário selecionou no sistema de arquivos local. Meu formulário, na minha opinião, basicamente possui dois botões de envio. Um é usado para enviar o formulário normalmente e toda a validação é executada. O segundo é apenas para carregar a imagem, caso em que ainda não quero validar.

Consegui desativar a validação do lado do cliente, atribuindo ao meu botão de envio 'Enviar imagem' um valor de classe de "cancelamento de nome de estilo", então

<input type="submit" name="UploadImageButton" value="Upload Image" class="style-name cancel" /> 

Agora, quando eu envio de volta, meu modelo tem uma propriedade UploadImageButton; quando esse botão é clicado, ele preenche essa propriedade (o nome da entrada corresponde à propriedade). Dessa forma, sei se o formulário foi enviado pelo meu botão Enviar real ou pelo UploadImageButton.

Minha pergunta é essa ... Como posso desativar a validação do ServerSide? Não quero que as informações do Resumo de validação sejam exibidas quando o usuário clicar neste botão. Sei que você pode adicionar erros de modelo personalizado usando este

ModelState.AddModelError("{key}", "{error msg}");

Estou procurando um meio de remover erros de modelo. Isso é possível

EDITAR

Aqui está o que eu vim com:

foreach (var key in ModelState.Keys.ToList().Where(key => ModelState.ContainsKey(key))) {
     //ModelState.Remove(key); //This was my solution before
     ModelState[key].Errors.Clear(); //This is my new solution. Thanks bbak
}

questionAnswers(5)

yourAnswerToTheQuestion