Explodir (transpor?) Várias colunas na tabela Spark SQL
Estou usando o Spark SQL (mencionei que ele está no Spark no caso de afetar a sintaxe do SQL - ainda não estou familiarizado o suficiente para ter certeza) e tenho uma tabela que estou tentando reestruturar, mas estou ficar preso tentando transpor várias colunas ao mesmo tempo.
Basicamente, eu tenho dados parecidos com:
userId someString varA varB
1 "example1" [0,2,5] [1,2,9]
2 "example2" [1,20,5] [9,null,6]
e eu gostaria de explodir varA e varB simultaneamente (o comprimento sempre será consistente) - para que a saída final fique assim:
userId someString varA varB
1 "example1" 0 1
1 "example1" 2 2
1 "example1" 5 9
2 "example2" 1 9
2 "example2" 20 null
2 "example2" 5 6
mas só consigo obter uma única instrução explodir (var) para funcionar em um comando, e se eu tentar encadear (por exemplo, criar uma tabela temporária após o primeiro comando explodir), obviamente obtenho um grande número de cópias duplicadas e desnecessárias linhas.
Muito Obrigado!