Как измерить время выполнения запроса на Spark

Мне нужно измерить время выполнения запроса на Apache Spark (Bluemix). Что я пробовал:

Как преобразовать DataFrame в набор данных в Apache Spark в Java?

Я могу очень легко конвертировать DataFrame в набор данных в Scala:

SPARK, ML, Tuning, CrossValidator: доступ к метрикам

Чтобы построить мультиклассовый классификатор NaiveBayes, я использую CrossValidator, чтобы выбрать лучшие параметры в моем конвейере:

Как я могу разделить pyspark RDD с функциями R

Spark, ML, StringIndexer: обработка невидимых меток

Моя цель состоит в том, чтобы создать классификатор Multicalss.Я построил конвейер для извлечения объектов, и он включает в качестве первого шага преобразова...

Как связать PyCharm с PySpark?

Задание Spark Mlib FPGrowth завершается с ошибкой памяти

У меня довольно простой вариант использования, но потенциально очень большой набор результатов. Мой код выполняет следующие действия (в оболочке pyspark):

Spark 1.6-Не удалось найти двоичный файл winutils в двоичном пути hadoop

Я знаю, что есть очень похожий пост к этому (Не удалось найти двоичный файл winutils в двоичном пути hadoop), однако, я попробовал каждый предложенный шаг, и...

Как сгладить вложенные списки в PySpark?

У меня есть структура RDD, как:

Spark 1.6: java.lang.IllegalArgumentException: spark.sql.execution.id уже установлен

Я использую spark 1.6 и столкнулся с проблемой выше, когда я запускаю следующий код: