Problemas con la función redonda de Pyspark

Tengo algunos problemas para que funcione la función de redondeo en pyspar, k: tengo el siguiente bloque de código, donde estoy tratando de redondear elnew_bid columna a 2 decimales y cambie el nombre de la columna comobid luego - estoy importandopyspark.sql.functions AS func como referencia, y usando elround función contenida dentro de ella:

output = output.select(col("ad").alias("ad_id"),
                       col("part").alias("part_id"),
                       func.round(col("new_bid"), 2).alias("bid"))

elnew_bid La columna aquí es de tipo flotante: el marco de datos resultante no tiene el nuevo nombrebid La columna se redondea a 2 decimales como estoy tratando de hacer, más bien todavía tiene 8 o 9 decimales.

He intentado varias cosas, pero parece que no puedo obtener el marco de datos resultante para tener el valor redondeado: ¡cualquier puntero sería muy apreciado! ¡Gracias!