Как измерить время выполнения запроса на Spark
Мне нужно измерить время выполнения запроса на Apache Spark (Bluemix). Что я пробовал:
import time
startTimeQuery = time.clock()
df = sqlContext.sql(query)
df.show()
endTimeQuery = time.clock()
runTimeQuery = endTimeQuery - startTimeQuery
Это хороший способ? Время, которое я получаю, выглядит слишком маленьким по сравнению с тем, когда я вижу таблицу.