Filtrar la columna del marco de datos Pyspark con el valor Ninguno
Estoy tratando de filtrar un marco de datos PySpark que tieneNone como un valor de fila:
df.select('dt_mvmt').distinct().collect()
[Row(dt_mvmt=u'2016-03-27'),
Row(dt_mvmt=u'2016-03-28'),
Row(dt_mvmt=u'2016-03-29'),
Row(dt_mvmt=None),
Row(dt_mvmt=u'2016-03-30'),
Row(dt_mvmt=u'2016-03-31')]
y puedo filtrar correctamente con un valor de cadena:
df[df.dt_mvmt == '2016-03-31']
# some results here
pero esto falla:
df[df.dt_mvmt == None].count()
0
df[df.dt_mvmt != None].count()
0
Pero definitivamente hay valores en cada categoría. ¿Que esta pasando?