¿Cómo ejecutar varias instancias de Spark 2.0 a la vez (en múltiples computadoras portátiles Jupyter)?
Tengo un script que convenientemente me permite usar Spark en un cuaderno Jupyter. Esto es genial, excepto cuando ejecuto comandos de chispa en un segundo bloc de notas (por ejemplo, para probar algunos trabajos de memoria virtual).
Recibo un mensaje de error muy largo cuyas partes clave parecen ser:
Py4JJavaError: se produjo un error al llamar a o31.json. : java.lang.RuntimeException: java.lang.RuntimeException: no se puede crear una instancia de org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient`
. . .
Causado por: ERROR XSDB6: Es posible que otra instancia de Derby ya haya arrancado la base de datos / metastore_db
El problema parece ser que solo puedo ejecutar una instancia de Spark a la vez.
¿Cómo puedo configurar Spark para que se ejecute en varios portátiles a la vez?