Como implementar o incremento automático no spark SQL (PySpark)

Eu preciso implementar uma coluna de incremento automático na minha tabela sql spark, como eu poderia fazer isso. Por favor, me guie. eu estou usando o pyspark 2.0

Obrigado Kalyan

questionAnswers(1)

yourAnswerToTheQuestion