Результаты поиска по запросу "multiprocessing"

3 ответа

читать несколько файлов, используя многопроцессорность

Мне нужно прочитать несколько очень больших текстовых файлов (более 100 Мб), обработать все строки с помощью регулярных выражений и сохранить данные в структуре. Моя структура наследуется от defaultdict, у нее есть метод read (self), который ...

2 ответа

 выдает ошибку.

я проблема с многопроцессорностью; Я использую python2.7 на Linux 2.6.36. Я знаю, что это будет намного проще с модулем или библиотекой более высокого уровня, но я пытаюсь использовать функции более низкого уровня (os.fork () и os.exec *), чтобы ...

2 ответа

Есть ли хороший способ избежать глубокого копирования памяти или сократить время, затрачиваемое на многопроцессорность?

Я делаю модуль вычисления «больших данных» на основе памяти в режиме реального времени, используя модуль Pandas среды Python. Поэтому время отклика является качеством этого модуля и очень критично и важно. Для обработки большого набора данных я ...

ТОП публикаций

2 ответа

Нарколепсия никогда не является надежным решением.

аюсь создать файл, похожий на объект, который должен быть назначен sys.stdout / sys.stderr во время тестирования, чтобы обеспечить детерминированный вывод. Это не значит быть быстрым, просто надежным. Что у меня покапочти работает, но мне нужна ...

2 ответа

 фреймворк. Код ниже даже проще, чем его; это могло также быть немного вычищено. Надеюсь, это поможет кому-то еще. У меня все еще есть ноющее чувство, что должен быть более простой способ сделать это все же.

льный скрипт оболочки создает stdout и stderr, которые я хотел бы показать на textctrl в графическом интерфейсе. Это возможно с помощью потоков и отделения потока GUI от потока сценария оболочки. Однако, когда я реализую многопроцессорность, я ...

3 ответа

@JasonSundram: не думайте о них как о «обычных очередях». Они являются потоками очереди (для нас с модулем потоков Python из стандартных библиотек. Вероятно, они должны были быть организованы как субмодуль в потоке (как это было позже сделано с multiprocessing.Queue). Но это один из тех артефактов истории.

аюсь написать программу на Python 2.6 (OSX) с использованием многопроцессорной обработки, и я хочу заполнить очередь больше, чем по умолчанию, 32767 элементов. from multiprocessing import Queue Queue(2**15) # raises OSErrorQueue(32767) работает ...

1 ответ

Это правильно, но нужно отметить, что это не правда, что ничего не копируется. Сборщик мусора в Python должен поддерживать количество ссылок. Затраты памяти для этого незначительны (я думаю, 4 КБ на каждый процесс).

from multiprocessing import Process # c is a container p = Process(target = f, args = (c,)) p.start()дполагаю глубокую копиюc передается в функциюf потому что мелкое копирование не сделало бы s, ense в случае нового процесса (новый процесс не ...

2 ответа

Как получить каждый идентификатор процесса при многопроцессорной обработке

У меня есть некоторые проблемы, потому что я новичок в Python и Pyside. У меня есть N процессов, которые выполняются одновременно. Поскольку этим процессам требуется несколько раз, чтобы завершить свою работу, конечный пользователь может ...

3 ответа

И тогда вы можете получить URL, как вы делаете:

аюсь написать свой первый скрипт на Python, и с большим количеством Google, я думаю, что я почти закончил. Тем не менее, мне понадобится помощь, чтобы перебраться через финишную черту. Мне нужно написать скрипт, который будет входить на сайт с ...

2 ответа

Многопроцессорная обработка Python занимает гораздо больше времени, чем одиночная обработка

Я последовательно выполняю несколько больших вычислений для 3 разных массивов 2D. Массивы огромные, 25000x25000 каждый. Каждое вычисление занимает много времени, поэтому я решил запустить 3 из них параллельно на 3 процессорных ядрах на сервере. Я ...