Importar paquetes PySpark

He descargado elgraphframes paquete (deaquí) y lo guardé en mi disco local. Ahora, me gustaría usarlo. Entonces, uso el siguiente comando:

IPYTHON_OPTS="notebook --no-browser" pyspark --num-executors=4  --name gorelikboris_notebook_1  --py-files ~/temp/graphframes-0.1.0-spark1.5.jar --jars ~/temp/graphframes-0.1.0-spark1.5.jar --packages graphframes:graphframes:0.1.0-spark1.5

Toda la funcionalidad de pyspark funciona como se esperaba, excepto la nuevagraphframes paquete: cada vez que intentoimport graphframes, Obtengo unImportError. Cuando examinosys.path, Puedo ver los siguientes dos caminos:

/tmp/spark-1eXXX/userFiles-9XXX/graphframes_graphframes-0.1.0-spark1.5.jar y/tmp/spark-1eXXX/userFiles-9XXX/graphframes-0.1.0-spark1.5.jar, sin embargo, estos archivos no existen. Además, el/tmp/spark-1eXXX/userFiles-9XXX/ El directorio está vacío.

¿Qué me estoy perdiendo?