PySpark: condições múltiplas na cláusula when
Gostaria de modificar os valores das células de uma coluna de dataframe (Age) onde atualmente está em branco e só o faria se outra coluna (Survived) tiver o valor 0 para a linha correspondente onde está em branco para Age. Se for 1 na coluna Sobrevivido, mas estiver em branco na coluna Idade, vou mantê-lo como nulo.
Eu tentei usar&&
operador, mas não funcionou. Aqui está o meu código:
tdata.withColumn("Age", when((tdata.Age == "" && tdata.Survived == "0"), mean_age_0).otherwise(tdata.Age)).show()
Alguma sugestão de como lidar com isso? Obrigado.
Mensagem de erro:
SyntaxError: invalid syntax
File "<ipython-input-33-3e691784411c>", line 1
tdata.withColumn("Age", when((tdata.Age == "" && tdata.Survived == "0"), mean_age_0).otherwise(tdata.Age)).show()
^