¿Cómo puede analizar una cadena que es json de una tabla temporal existente usando PySpark?
Tengo un marco de datos Spark existente que tiene columnas como tales:
--------------------
pid | response
--------------------
12 | {"status":"200"}
La respuesta es una columna de cadena. ¿Hay alguna manera de convertirlo en JSON y extraer campos específicos? ¿Se puede usar la vista lateral como está en Hive? Busqué algunos ejemplos en línea que usaban explosión y vista posterior, pero no parece funcionar con Spark 2.1.1