Cómo configurar la precisión de visualización en PySpark Dataframe show
¿Cómo se configura la precisión de visualización en PySpark cuando se llama.show()
?
Considere el siguiente ejemplo:
from math import sqrt
import pyspark.sql.functions as f
data = zip(
map(lambda x: sqrt(x), range(100, 105)),
map(lambda x: sqrt(x), range(200, 205))
)
df = sqlCtx.createDataFrame(data, ["col1", "col2"])
df.select([f.avg(c).alias(c) for c in df.columns]).show()
Qué salidas:
#+------------------+------------------+
#| col1| col2|
#+------------------+------------------+
#|10.099262230352151|14.212583322380274|
#+------------------+------------------+
¿Cómo puedo cambiarlo para que solo muestre 3 dígitos después del punto decimal?
Salida deseada:
#+------+------+
#| col1| col2|
#+------+------+
#|10.099|14.213|
#+------+------+
Esta es una versión de PySpark deesta pregunta scala. Lo publico aquí porque no pude encontrar una respuesta al buscar soluciones de PySpark, y creo que puede ser útil para otros en el futuro.