Umgebungsvariablen aus Python-Code für spark @ setz
Ich habe die Umgebungsvariablen in Mac OS so eingestellt, dass sie ausgeführt werdenpyspark
export SPARK_HOME=/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
Die obigen Zeilen erledigen die Arbeit für mich.
Ich versuche, die obigen Befehle in Python mit den folgenden Zeilen Python-Code zu replizieren
os.environ['SPARK_HOME']="/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6"
spark_home=os.environ.get('SPARK_HOME',None)
sys.path.append("/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6/python/")
sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip'))
aber es funktioniert nicht. Bitte sag mir, was mache ich falsch?