я есть спарк DataFrame, который сгруппирован по столбцу, агрегированному с количеством:

df.groupBy('a').agg(count("a")).show

+---------+----------------+
|a        |count(a)        |
+---------+----------------+
|     null|               0|
|      -90|           45684|
+---------+----------------+


df.select('a').filter('aisNull').count

возвращается

warning: there was one feature warning; re-run with -feature for details
res9: Long = 26834

который ясно показывает, что нулевые значения не были учтены изначально.

В чем причина такого поведения? Я бы ожидал (если быnullвообще содержится в результате группировки), чтобы правильно увидеть количество.