Filtrado de Sparksql (selección con cláusula where) con múltiples condiciones
Hola, tengo el siguiente problema:
numeric.registerTempTable("numeric").
Todos los valores que quiero filtrar son cadenas nulas literales y no N / A o valores nulos.
Probé estas tres opciones:
numeric_filtered = numeric.filter(numeric['LOW'] != 'null').filter(numeric['HIGH'] != 'null').filter(numeric['NORMAL'] != 'null')
numeric_filtered = numeric.filter(numeric['LOW'] != 'null' AND numeric['HIGH'] != 'null' AND numeric['NORMAL'] != 'null')
sqlContext.sql("SELECT * from numeric WHERE LOW != 'null' AND HIGH != 'null' AND NORMAL != 'null'")
Desafortunadamente, numeric_filtered siempre está vacío. Verifiqué y numérico tiene datos que deben filtrarse en función de estas condiciones.
Aquí hay algunos valores de muestra:
Bajo Alto Normal
3.5 5.0 nulo
2.0 14.0 nulo
nulo 38.0 nulo
nulo nulo nulo
1.0 nulo 4.0