Desde que a função igual na matriz verifique apenas a instância, ela não funciona bem com Set. Por isso, gostaria de saber como criar um conjunto de matrizes em java?

Uma maneira possível de colocar cada matriz em um objeto e implementar funções iguais para essa classe, mas isso diminuirá muito o desempenho?