Wie implementiere ich verschachtelte Objekte in Scrapy?
Ich scrappe einige Daten mit komplexen hierarchischen Informationen und muss das Ergebnis nach json exportieren.
Ich habe die Items als definiert
class FamilyItem():
name = Field()
sons = Field()
class SonsItem():
name = Field()
grandsons = Field()
class GrandsonsItem():
name = Field()
age = Field()
weight = Field()
sex = Field()
und wenn die spinne komplett läuft, bekomme ich eine artikelausgabe wie gedruckt
{'name': 'Jenny',
'sons': [
{'name': u'S1',
'grandsons': [
{'name': u'GS1',
'age': 18,
'weight': 50
},
{
'name':u'GS2',
'age': 19,
'weight':51}]
}]
}
aber wenn ich rennescrapy crawl myscaper -o a.json
, es heißt immer das Ergebnis "ist nicht JSON serialisierbar". Dann kopiere ich die Ausgabe des Elements in die ipython-Konsole und verwende json.dumps (). Es funktioniert einwandfrei. Wo liegt das Problem? das macht mich verrückt ...