Importar paquetes PySpark
He descargado elgraphframes
paquete (deaquí) y lo guardé en mi disco local. Ahora, me gustaría usarlo. Entonces, uso el siguiente comando:
IPYTHON_OPTS="notebook --no-browser" pyspark --num-executors=4 --name gorelikboris_notebook_1 --py-files ~/temp/graphframes-0.1.0-spark1.5.jar --jars ~/temp/graphframes-0.1.0-spark1.5.jar --packages graphframes:graphframes:0.1.0-spark1.5
Toda la funcionalidad de pyspark funciona como se esperaba, excepto la nuevagraphframes
paquete: cada vez que intentoimport graphframes
, Obtengo unImportError
. Cuando examinosys.path
, Puedo ver los siguientes dos caminos:
/tmp/spark-1eXXX/userFiles-9XXX/graphframes_graphframes-0.1.0-spark1.5.jar
y/tmp/spark-1eXXX/userFiles-9XXX/graphframes-0.1.0-spark1.5.jar
, sin embargo, estos archivos no existen. Además, el/tmp/spark-1eXXX/userFiles-9XXX/
El directorio está vacío.
¿Qué me estoy perdiendo?