Resultados da pesquisa a pedido "yarn"
Hadoop 2 IOException apenas ao tentar abrir arquivos de cache supostos
Eu atualizei recentemente para o hadoop 2.2 (usando este tutorialAqui).Minha classe de trabalho principal parece com isso e lança uma IOException:
Como o Spark em execução no YARN explica o uso de memória do Python?
Após ler a documentação, não entendo como o Spark em execução no YARN explica o consumo de memória do Python. Isso conta paraspark.executor.memory, spark.executor.memoryOverhead ou onde? Em particular, eu tenho um aplicativo PySpark ...
Relatório do Spark Hive pyspark.sql.utils.AnalysisException: u'Table não encontrado: XXX 'quando executado no cluster de fios
Estou tentando executar um script pyspark no BigInsights on Cloud 4.2 Enterprise que acessa uma tabela do Hive. Primeiro, crio a tabela de seção: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); OK Time ...
Relatórios do Spark Hive ClassNotFoundException: com.ibm.biginsights.bigsql.sync.BIEventListener
Estou tentando executar um script pyspark no BigInsights on Cloud 4.2 Enterprise que acessa uma tabela do Hive. Primeiro, crio a tabela de seção: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); OK Time ...
Por que meu pyspark fica travado como ACEITO no fio quando eu o inicio?
Acabei de criar um novoAWS instância emLinux. E eu instaleipyspark nele. Temspark 1.6. Estou correndopyspark comyarn. Quando eu faço o comandopyspark no terminal, ele é inicializado inicialmente, mas então recebo a mensagem: dd/mm/YY HH:MM:SS ...
passe o código de saída customizado do spark do modo de cluster de fios para a CLI
Iniciei um trabalho de faísca no modo de cluster de fios através do envio de faísca. Para indicar falha parcial, etc, eu quero passar o código de saída do driver para o script chamando de envio de spark. Eu tentei ambos, System.exit e lançando ...
Acesse uma Hive segura ao executar o Spark em um cluster YARN não seguro
Temos dois clusters cloudera 5.7.1, um protegido usando o Kerberos e outro não seguro. É possível executar o Spark usando o cluster YARN não seguro enquanto acessa as tabelas de seção armazenadas no cluster seguro? (A versão Spark é 1.6) Em ...
Por que flink container tamanho vcore é sempre 1
Estou executando flink no fio (mais precisamente no cluster de fios do AWS EMR). Eu li o documento do flink e o código-fonte que, por padrão, para cada contêiner do gerenciador de tarefas, o flink solicitará o número de slots por gerenciador de ...
Como alterar a configuração do programador de fios no aws EMR?
Ao contrário do HortonWorks ou do Cloudera, o AWS EMR parece não fornecer nenhuma GUI para alterar as configurações xml de várias estruturas de ecossistema hadoop. Efetuando login no meu namenode EMR e fazendo uma rápida find \ -iname ...
WARN cluster.YarnScheduler: o trabalho inicial não aceitou nenhum recurso
Quaisquer trabalhos spark executados falharão com a seguinte mensagem de erro 17/06/16 11:10:43 WARN cluster.YarnScheduler: O trabalho inicial não aceitou nenhum recurso; verifique a interface do usuário do cluster para garantir que ...