¿Cómo puedo ordenar el ID de un ManyToManyField en Django?

Tengo un ManyToManyField en un objeto de usuario y se utiliza para asignar los usuarios que el usuario está siguiendo. Estoy tratando de mostrar una lista de subconjuntos de quiénes han seguido más recientemente. ¿Hay un truco en .order_by () que me permita ordenar por el ID del ManyToManyField? Los datos están ahí, ¿verdad?

# (people the user is following)
following = models.ManyToManyField(User, related_name="following", blank=True)

theuser.following.filter(user__is_active=True).order_by("user__id")

Eso me dará una lista de los usuarios que el usuario está siguiendo, pero ordenados por cuando se unieron. Quiero que el orden de la siguiente lista sea el orden en que el usuario los siguió.