Resultados da pesquisa a pedido "emr"
Como MapReduce lê a partir de vários arquivos de entrada?
Estou desenvolvendo um código para ler dados e escrevê-lo
Spark - Que tipo de instância é preferido para o cluster do AWS EMR? [fechadas]
Estou executando alguns algoritmos de aprendizado de máquina no cluster EMR Spark. Estou curioso para saber que tipo de instância usar para obter o melhor ganho de custo / desempenho. Para o mesmo nível de preços, posso escolher entre: vCPU ECU ...
no Amazon EMR 4.0.0, a configuração /etc/spark/conf/spark-env.conf é ineficaz
Estou lançando meu hiveserver2 baseado em spark no Amazon EMR, que possui uma dependência extra de caminho de classe. Devido a esse bug no Amazon ...
Aumentando o spark.yarn.executor.memoryOverhead
Estou tentando executar um trabalho (py) Spark no EMR que processará uma grande quantidade de dados. Atualmente, meu trabalho está falhando com a seguinte mensagem de erro: Reason: Container killed by YARN for exceeding memory limits. 5.5 GB of ...
O Apache Spark lê S3: não é possível capturar objetos thread.lock
Então, eu quero que meu Spark App leia algum texto do Amazon S3. Escrevi o seguinte script simples: import boto3 s3_client = boto3.client('s3') text_keys = ["key1.txt", "key2.txt"] data = sc.parallelize(text_keys).flatMap(lambda ...
Como definir uma variável de ambiente personalizada no EMR para estar disponível para um aplicativo Spark
Preciso definir uma variável de ambiente personalizada no EMR para estar disponível ao executar um aplicativo spark. Eu tentei adicionar isso: ... --configurations '[ { "Classification": "spark-env", "Configurations": [ { "Classification": ...
Como instalar uma GUI no Amazon AWS EC2 ou EMR com o Amazon AMI
Eu preciso executar um aplicativo que exija uma interface GUI para iniciar e configurar. Também preciso executar esse aplicativo no serviço EC2 e EMR da Amazon. O requisito de EMR significa que ele deve ser executado na Linux AMI da Amazon. Após ...
Como usar -libjars no aws emr?
Existem perguntas semelhantes no estouro de pilha, mas nenhuma delas responde à pergunta. O problema surge quando, conforme o link a seguir http://grepalex.com/2013/02/25/hadoop-libjars/ [http://grepalex.com/2013/02/25/hadoop-libjars/], ...
Precisa de conselhos de estratégia para migrar tabelas grandes do RDS para o DynamoDB
Temos algumas tabelas mySql no RDS que são enormes (mais de 700 GB) e gostaríamos de migrar para uma tabela do DynamoDB. Você pode sugerir uma estratégia ou uma direção para fazer isso de maneira limpa e paralela? Talvez usando o EMR ou o AWS ...
Muitos arquivos abertos no EMR
Eu estou recebendo a seguinte excpetion em meus redutores: