Estou tentando filtrar um quadro de dados PySpark que possuiNone como um valor de linha:

df.select('dt_mvmt').distinct().collect()

[Row(dt_mvmt=u'2016-03-27'),
 Row(dt_mvmt=u'2016-03-28'),
 Row(dt_mvmt=u'2016-03-29'),
 Row(dt_mvmt=None),
 Row(dt_mvmt=u'2016-03-30'),
 Row(dt_mvmt=u'2016-03-31')]

e eu posso filtrar corretamente com um valor de string:

df[df.dt_mvmt == '2016-03-31']
# some results here

mas isso falha:

df[df.dt_mvmt == None].count()
0
df[df.dt_mvmt != None].count()
0

Mas definitivamente existem valores em cada categoria. O que está acontecendo?