Cómo acceder a HttpContext dentro de una prueba unitaria en ASP.NET 5 / MVC 6

Digamos que estoy estableciendo un valor en el contexto http en mi middleware. Por ejemplo, HttpContext.User.

¿Cómo puedo probar el contexto http en mi prueba de unidad? Aquí hay un ejemplo de lo que estoy tratando de hacer.

Middleware

public class MyAuthMiddleware
{
    private readonly RequestDelegate _next;

    public MyAuthMiddleware(RequestDelegate next)
    {
        _next = next;
    }

    public async Task Invoke(HttpContext context)
    {
        context.User = SetUser(); 
        await next(context);
    }
}

Prueba

[Fact]
public async Task UserShouldBeAuthenticated()
{
    var server = TestServer.Create((app) => 
    {
        app.UseMiddleware<MyAuthMiddleware>();
    });

    using(server)
    {
        var response = await server.CreateClient().GetAsync("/");
        // After calling the middleware I want to assert that 
        // the user in the HttpContext was set correctly
        // but how can I access the HttpContext here?
    }
}