Inicialize o PySpark para predefinir a variável SparkContext 'sc'
Ao usar o PySpark, gostaria que um SparkContext fosse inicializado (no modo cliente do fio) após a criação de um novo notebook.
Os tutoriais a seguir descrevem como fazer isso em versões anteriores do ipython / jupyter <4
https://www.dataquest.io/blog/pyspark-installation-guide/
https://npatta01.github.io/2015/07/22/setting_up_pyspark/
Não tenho muita certeza de como conseguir o mesmo com o notebook> 4, conforme observado emhttp://jupyter.readthedocs.io/en/latest/migrating.html#since-jupyter-does-not-have-profiles-how-do-i-customize-it
Posso criar e configurar manualmente um Sparkcontext, mas não quero que nossos analistas tenham que se preocupar com isso.
Alguém tem alguma idéia?