Por que minhas configurações de aplicativo não estão sendo persistidas?

Então eu tenho algumas configurações que são dodo utilizador escopo, mas por algum motivo, eles não estão sendo salvos no arquivo .exe.config. Eu faço o seguinte:

Properties.Settings.Default.Email = "new@value.com";
Properties.Settings.Default.Save();

Ainda vejo o arquivo de configurações na pasta de depuração e ainda é o padrão que configuro no visual studio. Estou fazendo isso errado?