Existe uma maneira de alterar individualmente a cor do texto de uma célula ao usar tableGrob e ggplot2?

Por exemplo, no código abaixo, seria ótimo se a célula com 1 pudesse ser azul e a célula com 2 pudesse ser vermelha, com 3: 8 todo preto.

library(ggplot2)
library(grid)

mytable = as.table(matrix(c("1","2","3","4","5","6","7","8"),ncol=2,byrow=TRUE))
mytable = tableGrob(mytable,gpar.coretext = gpar(col = "black", cex = 1))
mydf = data.frame(x = 1:10,y = 1:10)

ggplot( mydf, aes(x, y)) + annotation_custom(mytable)