Resultados da pesquisa a pedido "hadoop"
Executar Hive Query com parâmetros da cláusula IN em paralelo
Estou tendo uma consulta do Hive como a abaixo: select a.x as column from table1 a where a.y in (<long comma-separated list of parameters>) union all select b.x as column from table2 b where b.y in (<long comma-separated list of parameters>)Eu ...
Operação de gravação do Hadoop HDFS programaticamente
Eu fiz uma pergunta semelhante há um tempo, mas depois eu não tinha ideia do que estava falando. Estou postando esta pergunta com mais detalhes e consultas diretas. Então, eu configurei o cluster hadoop com namenode e 2 datanodes. Estou usando ...
Como usar o Hadoop Streaming com arquivos de sequência compactados por LZO?
Estou tentando brincar com o conjunto de dados de ngrams do Google usando o Elastic Map Reduce da Amazon. Há um conjunto de dados público em http://aws.amazon.com/datasets/8172056142375670 [http://aws.amazon.com/datasets/8172056142375670], e ...
executando o comando jps que não mostra o NameNode ou o ID do Tasktracker, embora seja exibido quando uso o comando start.sh
o comando jps deve mostrar o ID contra JPS NameNode TaskTracker JobTrackerMas estou recebendo apenas o JPS junto com seu ID. O resto está funcionando bem. 4801 JpsTentei postar a captura de tela por conveniência, mas não foi permitido, pois não ...
Mapa do Hadoop Reduce For Google
recebemos como atribuição a tarefa de criar funções de redução de mapa que serão exibidas para cada nó n no google web graph list os nós que você pode ir do nó n em 3 saltos. (Os dados reais podem ser encontrados ...
Ignorar a primeira linha de csv ao carregar na tabela de seção
Olá amigos, Criei tabela no hive com a ajuda do seguinte comando - CREATE TABLE db.test ( fname STRING, lname STRING, age STRING, mob BIGINT ) row format delimited fields terminated BY '\t' stored AS textfile;Agora, para carregar dados na ...
hadoop - Conexão recusada no namenode
Pesquisei web e stackoverflow por um longo tempo, mas não foi útil. Eu instalei o hadoop yarn 2.2.0 na configuração de cluster de 2 nós. mas algo dá errado. quando inicio os daemons do hadoop usando start-dfs.sh e start-yarn.sh no nó mestre, ...
Comando Hive para executar a cláusula NOT IN
Eu tenho duas tabelas, tab1 e tab2. tab1(T1) tab2(T2) a1 b1 b1 c1 c1 f1 d1 g1Estou procurando os valores da tabela T1 que não estão presentes no T2. Nesse caso, a saída deve sera1 d1 Eu tentei com a seguinte consulta, mas não consegui a solução ...
Erro no MapReduce do Hadoop
Quando executo um programa mapreduce usando o Hadoop, obtenho o seguinte erro. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with nonzero status of ...
Como obter o nome do arquivo de um trabalho de mapreduce de streaming no R?
Estou transmitindo um trabalho de mapreduce R e preciso obter o nome do arquivo. Sei que o Hadoop define variáveis de ambiente para o trabalho atual antes de iniciar e posso acessar envios no R com Sys.getenv (). Eu encontrei :Obter nome do ...