Resultados da pesquisa a pedido "yarn"
Apache Spark: definir instâncias do executor não altera os executores
Eu tenho um aplicativo Apache Spark em execução em um cluster YARN (o spark possui 3 nós neste cluster) no modo de cluster. Quando o aplicativo está executando, a Spark-UI mostra que 2 executores (cada um em um nó diferente) e o driver estão em ...
Apache Hadoop Yarn - Subutilização de núcleos
Não importa o quanto eu mexa nas configurações doyarn-site.xml ou seja, usando todas as opções abaixo yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...
A inicialização do modo Apache Spark YARN leva muito tempo (mais de 10 segundos)
Estou executando um aplicativo spark no modo cliente YARN ou cluster YARN. Mas parece levar muito tempo para iniciar. Demora mais de 10 segundos para inicializar o contexto de faísca. Isso é normal? Ou pode ser otimizado? O ambiente é o ...
O relatório de aplicativo para application_ (state: ACCEPTED) nunca termina para o Spark Submit (com Spark 1.2.0 no YARN)
Estou executando o aplicativo kinesis plus spark https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Estou correndo como abaixo comando na instância ...
Execução simultânea de tarefas no Spark
Eu usei dados de entrada com o formato abaixo: 0 1 2 3 4 5 … 14 Input Location: hdfs://localhost:9000/Input/datasourceUsei o seguinte trecho de código para salvar o RDD como arquivo de texto usando vários threads: package ...
Diferença entre o Application Manager e o Application Master no YARN?
Entendi como o MRv1 funciona. Agora estou tentando entender o MRv2. Qual é a diferença entre o Application Manager e o Application Master no YARN?
Hadoop no Windows. O YARN falha ao iniciar com java.lang.UnsatisfiedLinkError
Eu instalei / configurei o Hadoop no windows hadoop-2.7.0 Eu poderia iniciar com êxito o comando de execução "sbin \ start-dfs". DataNode e NameNode iniciado. Eu poderia criar diretório, adicionar arquivo ao sistema hadoop. Mas agora, quando ...
Por que uma JVM relata mais memória confirmada que o tamanho do conjunto residente do processo Linux?
Ao executar um aplicativo Java (no YARN) com o rastreamento de memória nativa ativado (-XX:NativeMemoryTracking=detail ...
Como adicionar o arquivo de configuração ao caminho de classe de todos os executores Spark no Spark 1.2.0?
Estou usando o Typesafe Config,https://github.com/typesafehub/config [https://github.com/typesafehub/config], para parametrizar uma tarefa do Spark em execução no modo de cluster de fios com um arquivo de configuração. O comportamento padrão do ...
Spark Launcher aguardando a conclusão do trabalho infinitamente
Estou tentando enviar uma tarefa JAR com Spark para o cluster YARN a partir do código Java. Estou usando o SparkLauncher para enviar um exemplo do SparkPi: Process spark = new ...