Eu tenho o dataframe no pyspark. Algumas de suas colunas numéricas contêm 'nan'; portanto, quando estou lendo os dados e verificando o esquema do quadro de dados, essas colunas terão o tipo 'string'. Se você deseja alterar o valor de nano para zero, use o seguinte código: \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n

data_df = sqlContext.read.format("csv").load('data.csv',header=True, inferSchema="true")
data_df.printSchema()
data_df = data_df.fillna(0)
data_df.printSchema()

meus dados ficam assim:

aqui as colunas 'Reproduz' e 'Rascunhos' contendo valores inteiros, mas devido ao nan presente nessas colunas, eles são tratados como um tipo de sequência.