Панды - чтение нескольких JSON-записей в датафрейме
Я хотел бы знать, существует ли эффективный для памяти способ чтения файла JSON с несколькими записями (каждая строка - это JSON) в кадр данных pandas. Ниже приведен двухстрочный пример с рабочим решением, он мне нужен для потенциально очень большого количества записей. Примером использования будет обработка вывода из функции Hadoop Pig JSonStorage.
import json
import pandas as pd
test='''{"a":1,"b":2}
{"a":3,"b":4}'''
#df=pd.read_json(test,orient='records') doesn't work, expects []
l=[ json.loads(l) for l in test.splitlines()]
df=pd.DataFrame(l)