Estou usando o Spark SQL (mencionei que ele está no Spark no caso de afetar a sintaxe do SQL - ainda não estou familiarizado o suficiente para ter certeza) e tenho uma tabela que estou tentando reestruturar, mas estou ficar preso tentando transpor várias colunas ao mesmo tempo.

Basicamente, eu tenho dados parecidos com:

userId    someString      varA     varB
   1      "example1"    [0,2,5]   [1,2,9]
   2      "example2"    [1,20,5]  [9,null,6]

e eu gostaria de explodir varA e varB simultaneamente (o comprimento sempre será consistente) - para que a saída final fique assim:

userId    someString      varA     varB
   1      "example1"       0         1
   1      "example1"       2         2
   1      "example1"       5         9
   2      "example2"       1         9
   2      "example2"       20       null
   2      "example2"       5         6

mas só consigo obter uma única instrução explodir (var) para funcionar em um comando, e se eu tentar encadear (por exemplo, criar uma tabela temporária após o primeiro comando explodir), obviamente obtenho um grande número de cópias duplicadas e desnecessárias linhas.

Muito Obrigado!