Mi objetivo es importar un archivo .py personalizado en mi aplicación spark y llamar a algunas de las funciones incluidas dentro de ese archivo

Esto es lo que probé:

Tengo un archivo de prueba llamadoTest.py que se ve de la siguiente manera:

def func():
    print "Import is working"

Dentro de mi aplicación Spark hago lo siguiente (como se describe en los documentos):

sc = SparkContext(conf=conf, pyFiles=['/[AbsolutePathTo]/Test.py'])

También probé esto en su lugar (después de crear el contexto de Spark):

sc.addFile("/[AbsolutePathTo]/Test.py")

Incluso intenté lo siguiente al enviar mi solicitud de chispa:

./bin/spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.10:1.5.0-M2 --py-files /[AbsolutePath]/Test.py ../Main/Code/app.py

Sin embargo, siempre recibo un error de nombre:

NameError: name 'func' is not defined

cuando estoy llamandofunc () dentro de miapp.py. (mismo error con 'Prueba' si intento llamarTest.func ())

Finalmente, al también intentó importar el archivo dentro del shell pyspark con el mismo comando que el anterior:

sc.addFile("/[AbsolutePathTo]/Test.py")

Curiosamente, no obtengo un error en la importación, pero aún así, no puedo llamar a func () sin obtener el error. Además, no estoy seguro de si es importante, pero estoy usando la chispa localmente en una máquina.

Realmente intenté todo lo que se me ocurrió, pero aún así no puedo hacer que funcione. Probablemente me estoy perdiendo algo muy simple. Cualquier ayuda sería apreciada.