Как сохранить спарк-фрейм данных в виде текстового файла без строк в pyspark?
У меня есть фрейм данных "df" со столбцами ['name', 'age']. Я сохранил фрейм данных, используяdf.rdd.saveAsTextFile("..")
чтобы сохранить его как RDD. Я загрузил сохраненный файл и затем collect () дает мне следующий результат.
a = sc.textFile("\mee\sample")
a.collect()
Output:
[u"Row(name=u'Alice', age=1)",
u"Row(name=u'Alice', age=2)",
u"Row(name=u'Joe', age=3)"]
Это не случайный ряд.
a.map(lambda g:g.age).collect()
AttributeError: 'unicode' object has no attribute 'age'
Есть ли способ сохранить фрейм данных как обычный rdd без имен столбцов и ключевых слов Row? Я хочу сохранить датафрейм, чтобы при загрузке файла и сборке я получал следующее:
a.collect()
[(Alice,1),(Alice,2),(Joe,3)]