Eu tenho dados como este:

df = sqlContext.createDataFrame([
    ('1986/10/15', 'z', 'null'), 
    ('1986/10/15', 'z', 'null'),
    ('1986/10/15', 'c', 'null'),
    ('1986/10/15', 'null', 'null'),
    ('1986/10/16', 'null', '4.0')],
    ('low', 'high', 'normal'))

Quero calcular a diferença de data entrelow coluna e2017-05-02 e substitualow coluna com a diferença. Eu tentei soluções relacionadas no stackoverflow, mas nenhum deles funciona.