pipe grande quantidade de dados para stdin ao usar o subprocesso.Popen
Estou meio que lutando para entender qual é a maneira python de resolver esse problema simple
Meu problema é bastante simples. Se você usar o código a seguir, ele travará. Isso está bem documentado no módulo do subprocesso doc.
import subprocess
proc = subprocess.Popen(['cat','-'],
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
)
for i in range(100000):
proc.stdin.write('%d\n' % i)
output = proc.communicate()[0]
print output
Procurando uma solução (existe um segmento muito perspicaz, mas eu o perdi agora) Encontrei esta solução (entre outras) que usa um fork explícito:
import os
import sys
from subprocess import Popen, PIPE
def produce(to_sed):
for i in range(100000):
to_sed.write("%d\n" % i)
to_sed.flush()
#this would happen implicitly, anyway, but is here for the example
to_sed.close()
def consume(from_sed):
while 1:
res = from_sed.readline()
if not res:
sys.exit(0)
#sys.exit(proc.poll())
print 'received: ', [res]
def main():
proc = Popen(['cat','-'],stdin=PIPE,stdout=PIPE)
to_sed = proc.stdin
from_sed = proc.stdout
pid = os.fork()
if pid == 0 :
from_sed.close()
produce(to_sed)
return
else :
to_sed.close()
consume(from_sed)
if __name__ == '__main__':
main()
Embora esta solução seja conceitualmente muito fácil de entender, ela usa mais um processo e fica presa como um nível muito baixo em comparação com o módulo de subprocesso (que existe apenas para ocultar esse tipo de coisa ...
Eu estou pensando: existe uma solução simples e limpa usando o módulo de subprocesso que não travou ou para implementar esse padrão? Eu tenho que dar um passo atrás e implementar um loop de seleção de estilo antigo ou um garfo explícit
Obrigad