Esto debería ser simple y probablemente solo estoy siendo tonto pero ... Necesito combinar dos marcos de datos por los nombres de las filas de df1 y una columna en df2, es decir,

df1<-data.frame(x=1:3,y=4:6) 
rownames(df1)<-c("a","b","c")
df1
  x y
a 1 4
b 2 5
c 3 6

df2<-data.frame(site=c("a","b"),p=5:6,q=10:11)
df2
  site p  q
     a 5 10
     b 6 11

La fusión debe producir:

df3<-data.frame(site=c("a","b"),p=5:6,q=10:11,x=1:2,y=4:5)
df3
  site p  q x y
     a 5 10 1 4
     b 6 11 2 5

Yo he tratado

merge(df1,df2,by.x=row.names(df1),by.y=df2$site) 

pero recibe el error

Error en fix.by (by.x, x): 'by' debe especificar columnas únicas y válidas

¿Qué estoy haciendo mal?