Os Alertas do Azure Application Insights funcionam apenas uma vez

Estou testando a funcionalidade de alerta do Azure Application Insights. Parece ser de buggy ou não sei como usá-lo.

Se eu criar um novo alerta, com base na métrica 'Exceções do servidor', ele parece funcionar mais uma vez e nunca mais. Uma vez acionado, parece entrar em um estado 'Ativo' onde há um triângulo laranja com um! Veja a imagem abaixo. Eu criei um novo, que não desencadeei, e como pode ser visto na imagem, ele tem um círculo verde com um sinal de visto.

Isso significa para mim que um alerta não será acionado novamente até que um 'reconheça' o alerta, o que não é uma má ideia, mas não consigo ver como fazer isso.

Editar:

Acabei de tentar usar a 'Taxa de exceção', conforme sugerido, mas acho que o limite mínimo para acionar o alerta seria uma média de 1 exceção por segundo durante um período de 5 minutos.

Devo dizer que parece estranho que meu caso de uso não seja tratado. Eu tenho um serviço leve de API da Web que é tão simples que nunca deve falhar, mas poderia e, como resultado, se ocorrer uma exceção, desejo receber um alerta imediatamente.

questionAnswers(3)

yourAnswerToTheQuestion