Это понятно из документации Spark оПланирование внутри приложения:

Внутри данного приложения Spark (экземпляр SparkContext) несколько параллельных заданий могут выполняться одновременно, если они были отправлены из отдельных потоков. Под «заданием» в этом разделе мы подразумеваем действие Spark (например, сохранить, собрать) и любые задачи, которые необходимо выполнить для оценки этого действия. Планировщик Spark полностью ориентирован на многопотоковое исполнение и поддерживает этот вариант использования для включения приложений, которые обслуживают несколько запросов (например, запросы для нескольких пользователей). "

Я мог найти несколько примеров того же кода в Scala и Java. Может кто-нибудь привести пример того, как это можно реализовать с помощью PySpark?