Дополнительное замечание для будущих читателей: если у вас нестандартный текст json, то все, что вы получите после использования этих функций, это NULL, поэтому проверьте недопустимые поля и предпочтите подход схемы, поскольку он работает как для двойных, так и для одинарных кавычек в схеме json.
я есть существующий фрейм данных Spark, который имеет столбцы как таковые:
--------------------
pid | response
--------------------
12 | {"status":"200"}
ответ является строковым столбцом. Есть ли способ привести его в JSON и извлечь конкретные поля? Можно ли использовать вид сбоку, как в Hive? Я посмотрел несколько примеров в строке, которые использовали разнесение и более поздний просмотр, но, похоже, он не работает со Spark 2.1.1