Resultados da pesquisa a pedido "apache-spark"
O que vai acontecer se eu não tiver memória suficiente?
Sou novo no Spark e descobri que a documentação diz que o Spark carregará os dados na memória para tornar os algoritmos de iteração mais rápidos.Mas e se eu ...
Definindo textinputformat.record.delimiter em faísca
No Spark, é possível definir algumas configurações de hadoop como, por ex.
Spark: qual é a melhor estratégia para unir um RDD de duas tuplas com RDD de chave única?
Eu tenho dois RDD's que quero juntar e eles se parecem com isso:
Configuração de ignição: SPARK_MEM vs. SPARK_WORKER_MEMORY
Em spark-env.sh, é possível configurar as seguintes variáveis de ambiente:
chamada de distinta e mapa juntos joga NPE na biblioteca de faísca
Eu não tenho certeza se isso é um bug, então se você fizer algo assim