Tengo una matriz con columnas que duplican los nombres de las columnas de caracteres.

set.seed(1)
m <- matrix(sample(1:10,12,replace=TRUE), nrow = 3, ncol = 4, byrow = TRUE,
       dimnames = list(c("s1", "s2", "s3"),c("x", "y","x","y")))

m
   x y  x  y
s1 3 4  6 10
s2 3 9 10  7
s3 7 1  3  2

Necesito sumar todas las columnas con el mismo nombre de columna en una sola columna, es decir,

m <- matrix(c(9,14,13,16,10,3), nrow = 3, ncol = , byrow = TRUE,dimnames = list(c("s1", "s2", "s3"),c("x", "y")))

    x  y
s1  9 14
s2 13 16
s3 10  3

He jugado con la suma simple en la función agregada pero no he tenido suerte. ¿Algún consejo? Gracias.