Resultados da pesquisa a pedido "spark-submit"
Como salvar um arquivo no cluster
Estou conectado ao cluster usandossh e eu envio o programa para o cluster usando spark-submit --master yarn myProgram.pyQuero salvar o resultado em um arquivo de texto e tentei usar as seguintes ...
Copie arquivos (config) do HDFS para o diretório de trabalho local de todos os executores spark
Eu estou procurando como copiar uma pasta com arquivos de dependências de recursos do HDFS para um diretório de trabalho local de cada executor de spark usando Java. Eu estava pensando em usar a opção --files FILES de envio de spark, mas ...
Driver de conexão independente Spark para trabalhador
Estou tentando hospedar localmente um cluster autônomo de faísca. Eu tenho duas máquinas heterogêneas conectadas em uma LAN. Cada parte da arquitetura listada abaixo está sendo executada no docker. Eu tenho a seguinte configuração mestre na ...
Adicionar jars a uma tarefa do Spark - spark-submit
É verdade ... já foi discutido bastante. No entanto, há muita ambiguidade e algumas das respostas fornecidas ... incluindo a duplicação de referências de jar nas opções ou na configuração de jars / executor / driver. Os detalhes ambíguos e / ou ...
Como parar as mensagens INFO exibidas no console do spark?
Gostaria de interromper várias mensagens que estão chegando no shell de faísca. Eu tentei editar olog4j.properties para parar essas mensagens. Aqui estão os conteúdos delog4j.properties # Define the root logger with appender file ...
O trabalho assíncrono do Spark falha com erro
Estou escrevendo código para faísca em java. Quando eu usoforeachAsync faísca falha e me dájava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. Neste código: JavaSparkContext sparkContext = new ...