Por lo que puedo ver, la forma recomendada de manejar la tecla de entrada en los cuadros de diálogo en AngularJS es colocar una etiqueta <form> y un botón de envío dentro del cuadro de diálogo.

Justo lo suficiente, pero si usa Angular-UI y su servicio de $ dialog, el formulario simplemente se cerrará en silencio al presionar enter. No hay manera de interceptar eso. incluso si adjunta manejadores a ng-click o ng-submit, el formulario simplemente se cerrará sin devolver ningún resultado.

¿Hay algo más que deba hacer?

[Editar]

Resuelto, tuve que especificar explícitamente que mi botón "cancelar" era de tipo "botón". Parece que por defecto "enviar"?

Así que no hubo ningún problema real, excepto por mis habilidades de formulario html :)