Lea el archivo CSV para numpy array, la primera fila como cadenas, el resto como float

Tengo datos almacenados en un CSV donde la primera fila son cadenas (nombres de columna) y las filas restantes son números. ¿Cómo almaceno esto en una matriz numpy? Todo lo que puedo encontrar es cómo establecer el tipo de datos para las columnas, pero no para las filas.

Ahora mismo solo me estoy saltando los encabezados para hacer los cálculos, pero necesito tener los encabezados en la versión final. Pero si dejo los encabezados, establece toda la matriz como una cadena y los cálculos fallan.

Esto es lo que tengo:

 data = np.genfromtxt(path_to_csv, dtype=None, delimiter=',', skip_header=1) 

Respuestas a la pregunta(3)

Su respuesta a la pregunta