Как разбить Вектор на столбцы - используя PySpark
Контекст: у меня естьDataFrame
с 2 столбцами: слово и вектор. Где тип столбца «вектор»VectorUDT
.
Пример:
word | vector
assert | [435,323,324,212...]
,
И я хочу получить это:
word | v1 | v2 | v3 | v4 | v5 | v6 ......
assert | 435 | 5435| 698| 356|....
Вопрос:
Как разделить столбец с векторами на несколько столбцов для каждого измерения с помощью PySpark?
заранее спасибо