Создать соединение с БД и поддерживать несколько процессов (многопроцессорность)
Подобно другому посту, который я сделал, он отвечает на этот пост и создает новый вопрос.
Напомним: мне нужно обновить каждую запись в пространственной базе данных, в которой у меня есть набор данных точек, которые перекрывают набор данных полигонов. Для каждого точечного объекта я хочу назначить ключ, чтобы связать его с полигональным объектом, в котором он находится. Поэтому, если моя точка «Нью-Йорк» лежит в пределах многоугольника США, а для полигона США «GID = 1» я назначу «gid_fkey = 1» для моей точки Нью-Йорк.
Итак, это было достигнуто с помощью многопроцессорной обработки. Я заметил увеличение скорости на 150% при использовании этого, чтобы оно работало. Но я думаю, что есть куча ненужных накладных расходов, так как для каждой записи требуется одно соединение с БД.
Итак, вот код:
import multiprocessing, time, psycopg2
class Consumer(multiprocessing.Process):
def __init__(self, task_queue, result_queue):
multiprocessing.Process.__init__(self)
self.task_queue = task_queue
self.result_queue = result_queue
def run(self):
proc_name = self.name
while True:
next_task = self.task_queue.get()
if next_task is None:
print 'Tasks Complete'
self.task_queue.task_done()
break
answer = next_task()
self.task_queue.task_done()
self.result_queue.put(answer)
return
class Task(object):
def __init__(self, a):
self.a = a
def __call__(self):
pyConn = psycopg2.connect("dbname='geobase_1' host = 'localhost'")
pyConn.set_isolation_level(0)
pyCursor1 = pyConn.cursor()
procQuery = 'UPDATE city SET gid_fkey = gid FROM country WHERE ST_within((SELECT the_geom FROM city WHERE city_id = %s), country.the_geom) AND city_id = %s' % (self.a, self.a)
pyCursor1.execute(procQuery)
print 'What is self?'
print self.a
return self.a
def __str__(self):
return 'ARC'
def run(self):
print 'IN'
if __name__ == '__main__':
tasks = multiprocessing.JoinableQueue()
results = multiprocessing.Queue()
num_consumers = multiprocessing.cpu_count() * 2
consumers = [Consumer(tasks, results) for i in xrange(num_consumers)]
for w in consumers:
w.start()
pyConnX = psycopg2.connect("dbname='geobase_1' host = 'localhost'")
pyConnX.set_isolation_level(0)
pyCursorX = pyConnX.cursor()
pyCursorX.execute('SELECT count(*) FROM cities WHERE gid_fkey IS NULL')
temp = pyCursorX.fetchall()
num_job = temp[0]
num_jobs = num_job[0]
pyCursorX.execute('SELECT city_id FROM city WHERE gid_fkey IS NULL')
cityIdListTuple = pyCursorX.fetchall()
cityIdListList = []
for x in cityIdListTuple:
cityIdList.append(x[0])
for i in xrange(num_jobs):
tasks.put(Task(cityIdList[i - 1]))
for i in xrange(num_consumers):
tasks.put(None)
while num_jobs:
result = results.get()
print result
num_jobs -= 1
Похоже, что оно составляет от 0,3 до 1,5 секунд на соединение, как я измерил с помощью модуля «время».
Есть ли способ установить соединение с БД для каждого процесса, а затем просто использовать информацию city_id в качестве переменной, которую я могу ввести в запрос для курсора в этом открытом окне? Таким образом, я делаю, скажем, четыре процесса, каждый с подключением к БД, а затем добавляю мне city_id для обработки.