Улучшение скорости на больших пандах read_csv с указателем даты и времени
У меня есть огромные файлы, которые выглядят так:
05/31 / 2012,15: 30: 00.029,1306.25,1, Е, 0,, 1306,25
05/31 / 2012,15: 30: 00.029,1306.25,8, Е, 0,, 1306,25
Я могу легко прочитать их, используя следующее:
pd.read_csv(gzip.open("myfile.gz"), header=None,names=
["date","time","price","size","type","zero","empty","last"], parse_dates=[[0,1]])
Есть ли способ эффективно разбирать такие даты на метки времени панд? Если нет, есть ли руководство по написанию функции Cython, которая может быть передана в date_parser =?
Я попытался написать свою собственную функцию синтаксического анализа, и это все еще занимает слишком много времени для проекта, над которым я работаю.