Есть ли хороший способ загрузить много файлов в массовом порядке с помощью Python? Этот код достаточно быстр для загрузки около 100 файлов. Но мне нужно скачать 300 000 файлов. Очевидно, что все они - очень маленькие файлы (или я не буду загружать 300 000 из них :)), поэтому реальным узким местом является этот цикл. У кого-нибудь есть мысли? Может быть, используя MPI или многопоточность?

Должен ли я просто жить с горлышком бутылки? Или есть более быстрый способ, может быть, даже не используя Python?

(Я включил полное начало кода только для полноты картины)

from __future__ import division
import pandas as pd
import numpy as np
import urllib2
import os
import linecache 

#we start with a huge file of urls

data= pd.read_csv("edgar.csv")
datatemp2=data[data['form'].str.contains("14A")]
datatemp3=data[data['form'].str.contains("14C")]

#data2 is the cut-down file

data2=datatemp2.append(datatemp3)
flist=np.array(data2['filename'])
print len(flist)
print flist

###below we have a script to download all of the files in the data2 database
###here you will need to create a new directory named edgar14A14C in your CWD

original=os.getcwd().copy()
os.chdir(str(os.getcwd())+str('/edgar14A14C'))


for i in xrange(len(flist)):
    url = "ftp://ftp.sec.gov/"+str(flist[i])
    file_name = str(url.split('/')[-1])
    u = urllib2.urlopen(url)
    f = open(file_name, 'wb')
    f.write(u.read())
    f.close()
    print i