Вот и все, вы сделали. Spark теперь должен работать в нескольких ноутбуках Jupyter одновременно.

я есть скрипт, который позволяет мне удобно использовать Spark в блокноте Jupyter. Это замечательно, за исключением случаев, когда я запускаю команды spark во втором блокноте (например, для проверки работы с нуля).

Я получаю очень длинное сообщение об ошибке, ключевые части которого выглядят так:

Py4JJavaError: Произошла ошибка при вызове o31.json. : java.lang.RuntimeException: java.lang.RuntimeException: Невозможно создать экземпляр org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient`

, , ,

Причина: ОШИБКА XSDB6: Возможно, другой экземпляр Derby уже загрузил базу данных / metastore_db

Кажется, проблема в том, что я могу одновременно запускать только один экземпляр Spark.

Как настроить Spark для одновременной работы с несколькими ноутбуками?

Ответы на вопрос(1)

Ваш ответ на вопрос