колонка, чтобы сделать это более понятным.
м, у меня есть следующие данные:
{"id":1, "payload":[{"foo":1, "lol":2},{"foo":2, "lol":2}]}
Я хотел бы взорвать полезную нагрузку и добавить столбец, например:
df = df.select('id', F.explode('payload').alias('data'))
df = df.withColumn('data.bar', F.col('data.foo') * 2)
Однако это приводит к кадру данных с тремя столбцами:
iddatadata.barЯ ожидалdata.bar быть частьюdata структура ...
Как добавить столбец в разнесенную структуру вместо добавления столбца верхнего уровня?