Resultados da pesquisa a pedido "emr"
Como instalar uma GUI no Amazon AWS EC2 ou EMR com o Amazon AMI
Eu preciso executar um aplicativo que exija uma interface GUI para iniciar e configurar. Também preciso executar esse aplicativo no serviço EC2 e EMR da Amazon. O requisito de EMR significa que ele deve ser executado na Linux AMI da Amazon. Após ...
Como usar -libjars no aws emr?
Existem perguntas semelhantes no estouro de pilha, mas nenhuma delas responde à pergunta. O problema surge quando, conforme o link a seguir http://grepalex.com/2013/02/25/hadoop-libjars/ [http://grepalex.com/2013/02/25/hadoop-libjars/], ...
O AWS EMR executa o script de "inicialização" em todas as máquinas já em execução no cluster
Eu tenho um cluster EMR que está sendo executado 24/7. Não consigo desligá-lo e iniciar o novo. O que eu gostaria de fazer é executar algo como a ação de auto-inicialização no cluster já em execução, de preferência usando Python e boto ou AWS ...
Spark - Que tipo de instância é preferido para o cluster do AWS EMR? [fechadas]
Estou executando alguns algoritmos de aprendizado de máquina no cluster EMR Spark. Estou curioso para saber que tipo de instância usar para obter o melhor ganho de custo / desempenho. Para o mesmo nível de preços, posso escolher entre: vCPU ECU ...
Como configurar o Zeppelin para trabalhar com o cluster remoto de fios EMR
Eu tenho o cluster do Amazon EMR Hadoop v2.6 com o Spark 1.4.1, com o gerenciador de recursos Yarn. Desejo implantar o Zeppelin em uma máquina separada para permitir desativar o cluster EMR quando não houver trabalhos em execução. Eu tentei ...
no Amazon EMR 4.0.0, a configuração /etc/spark/conf/spark-env.conf é ineficaz
Estou lançando meu hiveserver2 baseado em spark no Amazon EMR, que possui uma dependência extra de caminho de classe. Devido a esse bug no Amazon ...
Por que o Yarn on EMR não aloca todos os nós para executar tarefas do Spark?
Estou executando um trabalho no Apache Spark no Amazon Elastic Map Reduce (EMR). Atualmente, estou executando o emr-4.1.0, que inclui o Amazon Hadoop 2.6.0 e o Spark 1.5.0. Quando inicio o trabalho, o YARN alocou corretamente todos os nós de ...
Erro de trabalho do Spark: YarnAllocator: Status de saída: -100. Diagnóstico: Contêiner liberado em um nó * perdido *
Estou executando um trabalho no AWS-EMR 4.1, Spark 1.5 com a seguinte conf: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...
Precisa de conselhos de estratégia para migrar tabelas grandes do RDS para o DynamoDB
Temos algumas tabelas mySql no RDS que são enormes (mais de 700 GB) e gostaríamos de migrar para uma tabela do DynamoDB. Você pode sugerir uma estratégia ou uma direção para fazer isso de maneira limpa e paralela? Talvez usando o EMR ou o AWS ...
YARN: Qual é a diferença entre número de executores e núcleos de executores no Spark?
Estou aprendendo o Spark no AWS EMR. No processo, estou tentando entender a diferença entre o número de executores (- num-executors) e núcleos de executores (--executor-cores). Alguém pode me dizer aqui? Além disso, quando estou tentando enviar ...