Mapa de pyspark em pandas
Existe uma operação em pandas que faz o mesmo queflatMap no pyspark?
exemplo flatMap:
>>> rdd = sc.parallelize([2, 3, 4])
>>> sorted(rdd.flatMap(lambda x: range(1, x)).collect())
[1, 1, 1, 2, 2, 3]
Até agora eu consigo pensarapply
Seguido poritertools.chain
, mas estou pensando se existe uma solução em uma etapa.