Я пытаюсь загрузить файл SVM и преобразовать его вDataFrame так что я могу использовать модуль ML (Pipeline ML) от Спарк. Я только что установил свежий Spark 1.5.0 на Ubuntu 14.04 (нетspark-env.sh сконфигурирован).

мойmy_script.py является:

from pyspark.mllib.util import MLUtils
from pyspark import SparkContext

sc = SparkContext("local", "Teste Original")
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()

и я бегу, используя:./spark-submit my_script.py

И я получаю ошибку:

Traceback (most recent call last):
File "/home/fred-spark/spark-1.5.0-bin-hadoop2.6/pipeline_teste_original.py", line 34, in <module>
data = MLUtils.loadLibSVMFile(sc, "/home/fred-spark/svm_capture").toDF()
AttributeError: 'PipelinedRDD' object has no attribute 'toDF'

Что я не могу понять, так это то, что если я бегу:

data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()

прямо внутри оболочки PySpark, это работает.