Como você pode analisar uma string json de uma tabela temporária existente usando o PySpark?
Eu tenho um quadro de dados Spark existente que possui colunas como tais:
--------------------
pid | response
--------------------
12 | {"status":"200"}
resposta é uma coluna de sequência. Existe uma maneira de convertê-lo em JSON e extrair campos específicos? A vista lateral pode ser usada como no Hive? Procurei alguns exemplos on-line que usavam explodir e exibir mais tarde, mas ele não parece funcionar com o Spark 2.1.1