Resultados da pesquisa a pedido "hadoop"
Comando Hadoop não encontrado
Eu instalei e configurei o hadoop em uma máquina linux. Agora estou tentando executar uma tarefa MR de amostra. Iniciei o hadoop através do comando /usr/local/hadoop/bin/start-all.sh e a saída é namenode running as process 7876. Stop it first. ...
Particionamento dinâmico + CREATE AS on HIVE
Estou tentando criar uma nova tabela de outra tabela comCREATE AS e Particionamento dinâmico no HiveCLI. Estou aprendendo com o wiki oficial do Hive, onde há este exemplo: CREATE TABLE T (key int, value string) PARTITIONED BY (ds string, hr int) ...
Existe um equivalente a `pwd` em hdfs?
Eu tentei fazerhdfs dfs -pwd, mas esse comando não existe. Atualmente, estou recorrendo a fazerhdfs dfs -ls .. Seguido porhdfs dfs -ls ../... Eu também olhei para a lista de comandos parahdfs dfs mas não vi nada que parecesse promissor. Existe ...
Se eu tenho um construtor que requer um caminho para um arquivo, como posso "fingir" se ele estiver empacotado em um jar?
O contexto desta pergunta é que estou tentando usar o maxmind java api em um script do pig que escrevi ... Porém, não acho que seja necessário conhecer um deles para responder à pergunta. A API maxmind possui um construtor que requer um caminho ...
Onde o Hadoop armazena os logs dos aplicativos YARN?
Eu executo o exemplo básico de Hortonworks 'exemplo de aplicação de fios [https://github.com/hortonworks/simple-yarn-app]. O aplicativo falha e eu quero ler os logs para descobrir o porquê. Mas não consigo encontrar nenhum arquivo no local ...
Exceção no createBlockOutputStream ao copiar dados no HDFS
Estou recebendo as mensagens de aviso abaixo ao copiar os dados no HDFS. Eu tenho um cluster de 6 nós em execução. Sempre que copiar, ele ignora os dois nós e exibe as mensagens de aviso abaixo. INFO hdfs.DFSClient: Exception in ...
hadoop getmerge para outra máquina
É possível armazenar a saída dohadoop dfs -getmerge comando para outra máquina? O motivo é que não há espaço suficiente na minha máquina local. A saída do trabalho é de 100 GB e meu armazenamento local é de 60 GB. Outra razão possível pode ser ...
O gerenciador de tarefas do Hadoop 2.2.0 não está iniciando
Parece que não tenhojobtracker com o Hadoop 2.2.0. O JPS não mostra, não há ninguém escutando na porta 50030 e não há logs sobre ojobtracker dentro delogs pasta. É por causa do fio? Como posso configurar e iniciar o rastreador de tarefas?
PIG - Interface encontrada org.apache.hadoop.mapreduce.JobContext, mas a classe era esperada
Eu estava tentando carregar uma mesa da colméia. Estou usando o Hcatalog para isso. Entrei na seção usando pig -useHCatalogeu exporto quase todos os frascos da colméia e do hadoop register ...
nó de dados hdfs desconectado do namenode
De tempos em tempos, recebo os seguintes erros no cloudera manager: This DataNode is not connected to one or more of its NameNode(s).e The Cloudera Manager agent got an unexpected response from this role's web server.(geralmente juntos, às ...