Como dividir Vector em colunas - usando PySpark
Contexto: eu tenho umDataFrame com 2 colunas: palavra e vetor. Onde o tipo de coluna de "vetor" éVectorUDT.
Um exemplo:
word | vector
assert | [435,323,324,212...]
,E eu quero conseguir isso:
word | v1 | v2 | v3 | v4 | v5 | v6 ......
assert | 435 | 5435| 698| 356|....
Pergunta, questão:
Como posso dividir uma coluna com vetores em várias colunas para cada dimensão usando o PySpark?
desde já, obrigado