Результаты поиска по запросу "multiprocessing"
читать несколько файлов, используя многопроцессорность
Мне нужно прочитать несколько очень больших текстовых файлов (более 100 Мб), обработать все строки с помощью регулярных выражений и сохранить данные в структуре. Моя структура наследуется от defaultdict, у нее есть метод read (self), который ...
выдает ошибку.
я проблема с многопроцессорностью; Я использую python2.7 на Linux 2.6.36. Я знаю, что это будет намного проще с модулем или библиотекой более высокого уровня, но я пытаюсь использовать функции более низкого уровня (os.fork () и os.exec *), чтобы ...
Есть ли хороший способ избежать глубокого копирования памяти или сократить время, затрачиваемое на многопроцессорность?
Я делаю модуль вычисления «больших данных» на основе памяти в режиме реального времени, используя модуль Pandas среды Python. Поэтому время отклика является качеством этого модуля и очень критично и важно. Для обработки большого набора данных я ...
Нарколепсия никогда не является надежным решением.
аюсь создать файл, похожий на объект, который должен быть назначен sys.stdout / sys.stderr во время тестирования, чтобы обеспечить детерминированный вывод. Это не значит быть быстрым, просто надежным. Что у меня покапочти работает, но мне нужна ...
фреймворк. Код ниже даже проще, чем его; это могло также быть немного вычищено. Надеюсь, это поможет кому-то еще. У меня все еще есть ноющее чувство, что должен быть более простой способ сделать это все же.
льный скрипт оболочки создает stdout и stderr, которые я хотел бы показать на textctrl в графическом интерфейсе. Это возможно с помощью потоков и отделения потока GUI от потока сценария оболочки. Однако, когда я реализую многопроцессорность, я ...
@JasonSundram: не думайте о них как о «обычных очередях». Они являются потоками очереди (для нас с модулем потоков Python из стандартных библиотек. Вероятно, они должны были быть организованы как субмодуль в потоке (как это было позже сделано с multiprocessing.Queue). Но это один из тех артефактов истории.
аюсь написать программу на Python 2.6 (OSX) с использованием многопроцессорной обработки, и я хочу заполнить очередь больше, чем по умолчанию, 32767 элементов. from multiprocessing import Queue Queue(2**15) # raises OSErrorQueue(32767) работает ...
Это правильно, но нужно отметить, что это не правда, что ничего не копируется. Сборщик мусора в Python должен поддерживать количество ссылок. Затраты памяти для этого незначительны (я думаю, 4 КБ на каждый процесс).
from multiprocessing import Process # c is a container p = Process(target = f, args = (c,)) p.start()дполагаю глубокую копиюc передается в функциюf потому что мелкое копирование не сделало бы s, ense в случае нового процесса (новый процесс не ...
Как получить каждый идентификатор процесса при многопроцессорной обработке
У меня есть некоторые проблемы, потому что я новичок в Python и Pyside. У меня есть N процессов, которые выполняются одновременно. Поскольку этим процессам требуется несколько раз, чтобы завершить свою работу, конечный пользователь может ...
И тогда вы можете получить URL, как вы делаете:
аюсь написать свой первый скрипт на Python, и с большим количеством Google, я думаю, что я почти закончил. Тем не менее, мне понадобится помощь, чтобы перебраться через финишную черту. Мне нужно написать скрипт, который будет входить на сайт с ...
Многопроцессорная обработка Python занимает гораздо больше времени, чем одиночная обработка
Я последовательно выполняю несколько больших вычислений для 3 разных массивов 2D. Массивы огромные, 25000x25000 каждый. Каждое вычисление занимает много времени, поэтому я решил запустить 3 из них параллельно на 3 процессорных ядрах на сервере. Я ...