Wie kann ich nach der ID eines ManyToManyField in Django sortieren?

Ich habe ein ManyToManyField in einem Benutzerobjekt und es wird verwendet, um die Benutzer zuzuordnen, denen der Benutzer folgt. Ich versuche, eine Teilmenge der Personen anzuzeigen, denen sie zuletzt gefolgt sind. Gibt es einen Trick in .order_by (), mit dem ich nach der ID von ManyToManyField sortieren kann? Die Daten sind da, oder?

# (people the user is following)
following = models.ManyToManyField(User, related_name="following", blank=True)

theuser.following.filter(user__is_active=True).order_by("user__id")

Dadurch erhalte ich eine Liste der Benutzer, denen der Benutzer folgt, die jedoch nach dem Zeitpunkt ihres Beitritts sortiert sind. Ich möchte, dass die Reihenfolge der folgenden Liste in der Reihenfolge ist, in der der Benutzer ihnen gefolgt ist.