¿Cómo hace Sklearn la regresión lineal cuando p> n?
se sabe que cuando el número de variables (p) es mayor que el número de muestras (n), el estimador de mínimos cuadrados no está definido.
En sklearn recibo estos valores:
In [30]: lm = LinearRegression().fit(xx,y_train)
In [31]: lm.coef_
Out[31]:
array([[ 0.20092363, -0.14378298, -0.33504391, ..., -0.40695124,
0.08619906, -0.08108713]])
In [32]: xx.shape
Out[32]: (1097, 3419)
La llamada [30] debería devolver un error. ¿Cómo funciona sklearn cuando p> n como en este caso?
EDITAR: parece que la matriz está llena de algunos valores
if n > m:
# need to extend b matrix as it will be filled with
# a larger solution matrix
if len(b1.shape) == 2:
b2 = np.zeros((n, nrhs), dtype=gelss.dtype)
b2[:m,:] = b1
else:
b2 = np.zeros(n, dtype=gelss.dtype)
b2[:m] = b1
b1 = b2