Adicionando uma simples linha de tendência de lm a um boxplot ggplot

Ao adicionar uma linha de tendência de modelo linear a um boxplot usando gráficos padrão R eu uso:

boxplot(iris[,2]~iris[,1],col="LightBlue",main="Quartile1 (Rare)")
modelQ1<-lm(iris[,2]~iris[,1])
abline(modelQ1,lwd=2)

No entanto, ao usar isso no ggplot2:

a <- ggplot(iris,aes(factor(iris[,1]),iris[,2]))
a + geom_boxplot() +
geom_smooth(method = "lm", se=FALSE, color="black", formula=iris[,2]~iris[,1])

Estou tendo o erro a seguir:

geom_smooth: Only one unique x value each group.Maybe you want aes(group = 1)?

E a linha não aparece no meu enredo.

Os modelos usados ​​em ambos os cenários são idênticos. Se alguém pudesse apontar onde estou indo errado, isso seria ótimo.

EDIT: Usado o dataset da íris como um exemplo.

questionAnswers(2)

yourAnswerToTheQuestion