¿Cómo debo abordar una situación cuando trato de aplicar algún algoritmo de ML (clasificación, para ser más específico, SVM en particular) sobre alguna entrada de alta dimensión, y los resultados que obtengo no son del todo satisfactorios?

Se pueden visualizar datos de 1, 2 o 3 dimensiones, junto con los resultados del algoritmo, para que pueda familiarizarse con lo que está sucediendo y tener una idea de cómo abordar el problema. Una vez que los datos superan las 3 dimensiones, aparte de jugar intuitivamente con los parámetros, ¿no estoy realmente seguro de cómo atacarlos?