Ruta angular con html5Mode que da la página 'No encontrado' después de la recarga

Hice algunas rutas angulares como se muestra en el código de abajo.

app.config(function($routeProvider, $locationProvider, $provide) {
    $routeProvider
    .when('/', {
         templateUrl: 'home.html',
         controller: 'AppCtrl'
    });
    .when('/portfolio', {
        templateUrl: 'portfolio.html',
        controller: 'AppCtrl'
    })
    $provide.decorator('$sniffer', function($delegate) {
         $delegate.history = historyCompatCheck();
         return $delegate;
    });
    $locationProvider.html5Mode(true);
});

Esto funciona bien, después de establecer la base href en "/" aceptó un ancla con la href de "/ portfolio", pero cuando voy a "http://url.com/portfiolo"o intente volver a cargar la página cuando estoy en la ruta de la cartera, me dará un error de servidor. ¿Puedo hacer algo al respecto?

Gracias por adelantado.

Respuestas a la pregunta(2)

Su respuesta a la pregunta