Como redirecionar [Autorizar] para loginUrl somente quando as Funções não são usadas?

eu gostaria[Authorize] redirecionar paraloginUrl a menos que eu também esteja usando uma função, como[Authorize (Roles="Admin")]. Nesse caso, quero simplesmente exibir uma página dizendo que o usuário não está autorizado.

O que devo fazer?