Estou trabalhando em um PySpark DataFrame com n colunas. Eu tenho um conjunto de m colunas (m <n) e minha tarefa é escolher a coluna com valores máximos.

Por exemplo:

Entrada: PySpark DataFrame contendo col_1 = [1,2,3], col_2 = [2,1,4], col_3 = [3,2,5].

Ouput = col_4 = max (col1, col_2, col_3) = [3,2,5] neste exemplo.

Há algo semelhante nos pandas, como explicado emesta Pergunta, questão.

Existe alguma maneira de fazer isso no PySpark ou devo alterar o conversor do meu PySpark df para Pandas df e executar as operações?