Wie kann ich mit ggplot2 eine Trendlinie zeichnen, die zwischen den Facetten verläuft?

library(ggplot2)
df <- data.frame(y=c(1,2,3),x=1,Set=LETTERS[1:3])
ggplot(df,aes(x,y)) + 
  theme_bw() + theme(legend.position=c(0,1),legend.justification=c(0,1)) + 
  geom_point(aes(fill=Set),color="black",shape=21,size=3) + 
  facet_grid(~Set) + 
  xlim(1,5)

Welche Folgendes erzeugt:

Im obigen Beispiel möchte ich eine Linie zwischen den drei Punkten zeichnen, die sich über Facetten bewegt.