Comprender el cierre en chispa
En los modos de clúster, cómo escribir una función de cierref
para permitir que cada trabajador acceda a la copia de la variableN
.
N=5
lines=sc.parallelize(['early radical', 'french revolution','pejorative way', 'violent means'])
def f1(line):
return line[:N]
l=lines.map(f1)
l.collect()
Estoy tratando de experimentar para saber si mi comprensión es correcta. En mi ejemplo,f1
funciona en modo local.
No tengo ningún clúster y realmente quiero saber si funcionará en los modos de clúster. En otras palabras, ¿puede el trabajador acceder a la variableN
, que se define fuera def1
pero usado dentro def1
en el nodo del controlador.