Tengo una estructura de datos como esta:

public class User
{
    public Guid Id {get;set;}
    public string Name {get;set;}
    public IList<Books> Books {get;set}
}

He estado luchando para que sea posible ordenar a los usuarios por el recuento de marcadores (relación de uno a muchos).

He intentado varios enfoques con linq, criterios y consultas, pero sin suerte, y por lo tanto espero que alguno de ustedes pueda ayudar.

Estoy utilizando paginación, ya que tengo bastantes usuarios, por lo que la solución debe hacer la consulta en el SQL y no en la memoria del servidor web.