java.lang.Number no implementa "+" o cualquier otro operador?

Estoy creando una clase que se supone que puede usarse con una matriz de cualquier tipo de número (float, int, etc.), así que aquí hay un método que tengo:

// T extends Number
public synchronized T[] average() {
    Number[] ret = new Number[queue[0].length];
    for (int i = 0; i < ret.length; ++i) {
        for (int j = 0; j < size; ++j) {
            ret[i] += queue[j][i]; // WTF ERROR?!
        }
        ret[i] /= size; // WTF ERROR?!
    }
    return (T[])ret;
}

Excepto que esto no se compilará porque "Number" no implementa los operadores "+ =" o "/ =". En el peor de los casos, ¡la clase Number de java no implementa incluso los operadores más básicos como "+" o "-"! ¿Cómo puedo hacer un método que devuelva el promedio de una matriz de Números si java no me deja compilarlo porque piensa que no se pueden agregar números?!?

Respuestas a la pregunta(14)

Su respuesta a la pregunta