PySpark: ¿Cómo rellenar valores en el marco de datos para columnas específicas?
Tengo el siguiente DataFrame de muestra:
a | b | c |
1 | 2 | 4 |
0 | null | null|
null | 3 | 4 |
Y quiero reemplazar los valores nulos solo en las 2 primeras columnas - Columna "a" y "b":
a | b | c |
1 | 2 | 4 |
0 | 0 | null|
0 | 3 | 4 |
Aquí está el código para crear un marco de datos de muestra:
rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])
Sé cómo reemplazar todos los valores nulos usando:
df2 = df2.fillna(0)
Y cuando intento esto, pierdo la tercera columna:
df2 = df2.select(df2.columns[0:1]).fillna(0)