Entenda o fechamento em faísca
Nos modos de cluster, como escrever uma função de fechamentof
para permitir que todo trabalhador acesse a cópia da variávelN
.
N=5
lines=sc.parallelize(['early radical', 'french revolution','pejorative way', 'violent means'])
def f1(line):
return line[:N]
l=lines.map(f1)
l.collect()
Estou tentando experimentar para descobrir se meu entendimento está correto. No meu exemplo,f1
funciona no modo local.
Não tenho nenhum cluster e quero saber se ele funcionará nos modos de cluster. Em outras palavras, o trabalhador pode acessar a variávelN
, definido fora def1
mas usado dentrof1
no nó do driver.