Estou tentando adicionar uma rota ao padrão, para que eu tenha os dois URLs funcionando:

Isso fará com que a primeira rota funcione:

routes.MapRoute(
     name: "Default",
     url: "{controller}/{action}/{id}",
     defaults: new { controller = "users", action = "Index", id = UrlParameter.Optional }
);

No entanto, a segunda rota não funciona obviamente.

Isso fará com que a segunda rota funcione, mas quebrará a primeira:

routes.MapRoute(
     name: "Book",
     url: "books/{id}",
     defaults: new { controller = "users", action = "Details" }
);

Como combinar as duas configurações de rota para que ambos os URLs funcionem? Peço desculpas se já existe uma pergunta como essa em SO, não consegui encontrar nada.