la agrupación de trama de datos de chispa no cuenta nulos
Tengo un DataFrame de chispa que se agrupa por una columna agregada con un recuento:
df.groupBy('a').agg(count("a")).show
+---------+----------------+
|a |count(a) |
+---------+----------------+
| null| 0|
| -90| 45684|
+---------+----------------+
df.select('a').filter('aisNull').count
devoluciones
warning: there was one feature warning; re-run with -feature for details
res9: Long = 26834
que muestra claramente que los valores nulos no se contaron inicialmente.
¿Cuál es la razón de este comportamiento? Hubiera esperado (sinullen absoluto está contenido en el resultado de agrupación) para ver correctamente los recuentos.