In Pandas, wie man CSV-Dateien mit Listen in einer Spalte liest?
Ich habe eine CSV-Datei, in der einige Spalten so aussehen:
df = pd.DataFrame({'a':[['ID1','ID2','ID3'],['ID1','ID4'],[]],'b':[[8.6,1.3,2.5],[7.5,1.2],[]],'c':[[12,23,79],[42,10],[]]})
Out[1]: a b c
0 [ID1, ID2, ID3] [8.6, 1.3, 2.5] [12, 23, 79]
1 [ID1, ID4] [7.5, 1.2] [42, 10]
2 [] [] []
Die Sache ist, dass, wenn ich es lese, mitpandas.read_csv
, Python betrachtet diese Spalten als Zeichenfolgen. Gibt es eine Möglichkeit, als Option zu übergeben, dass es sich um eine Liste von Zahlen in diesen Spalten handelt? (vielleicht einigedtype = something
)
PS: Ich kann mit @ eine Liste verstehast.literal_eval
danach, aber es dauert eine Weile, also möchte ich es lieber haben, sobald ich die CSV lese.
PS2: Die ursprüngliche CSV-Datei ist 600.000 Zeilen lang (weshalb es einige Zeit dauert, bisliteral_eval
. Seine Spalten enthalten:
'ID of the project' 'postcode' 'city' 'len of the lists in the last 3 columns' 'ids of other projects' 'distance from initial project' 'jetlag from initial project'
object int string int list of strings list of floats list of ints