echo “#!” falha - “evento não encontrado”

O seguinte falha e eu não entendo o porquê:

$ echo "#!"

o seguinte também falha com a mesma mensagem de erro:

$ echo "\#!"

a mensagem de erro:

-bash: !": event not found

Por que isso falha? Como oecho ser feit