Eu gostaria de deixar de fora a ação na url, pois não considero que seja uma abordagem tranquila. Rotas padrão devem ser:

"{controller}/{id}"

Em seguida, chame a ação que corresponde ao método HTTP usado. Por exemplo, eu estou decorando uma ação PUT assim:

[HttpPut]
public ActionResult Change()
{
    return View();
}

No entanto, quando vejo isso, fico com um 404. Então, estou fazendo algo errado, alguém já tentou essa abordagem antes?

Estou usando o beta do MVC4.

Isso é tudo que estou fazendo para configurar as rotas:

    routes.MapRoute(
        name: "Default",
        url: "{controller}/{id}",
        defaults: new { controller = "Home", action = "Index", id = RouteParameter.Optional }
    );