Resultados da pesquisa a pedido "hadoop"
Hive: criar tabela e partição por
Eu tenho uma tabela com dados carregados da seguinte forma:
Requisitos para converter o quadro de dados Spark em quadro de dados Pandas / R
Estou executando o Spark no fio do Hadoop. Como essa conversão funciona? Um collect () ocorre antes da conversão? Também preciso instalar o Python e o R em todos os nós escravos para que a conversão funcione? Estou lutando para encontrar ...
Como carregar dados da seção do HDFS sem remover o arquivo de orige
Quando carregar dados do HDFS para o Hive, usando LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename; command, parece que ele está movendo o hdfs_file parahive/warehouse dir. É possível (como?) Copiá-lo em vez de movê-lo, para que o arquivo seja ...
Hadoop enable log
Estou tentando trabalhar com o hadoop construído a partir da fonte em um único modo de cluster. Eu fiz check-out 0.22.0-alpha-1. Estou enfrentando alguns problemas com o log. Como habilito os logs de depuração. Eu tentei ...
dfs.namenode.servicerpc-address ou dfs.namenode.rpc-address não está configurado
Eu estava tentando configurar o hadoop com um nó de nome e quatro nós de dados. Consegui configurar com êxito o nó de nome e o rastreador de trabalho em uma ...
Como definir a configuração no arquivo Hive-Site.xml para a conexão do metastore do hive?
Quero conectar o MetaStore usando o código java. Não tenho idéia de como definir a configuração no arquivo Hive-Site.xml e onde postarei o arquivo Hive-Site.xml. Por favor ajude. import java.sql.Connection; import java.sql.DriverManager; ...
Interpretando a saída do mahout clusterdumper
Fiz um teste de agrupamento em páginas rastreadas (mais de 25.000 documentos; conjunto de dados pessoais). Eu fiz um clusterdump: $MAHOUT_HOME/bin/mahout clusterdump --seqFileDir output/clusters-1/ --output clusteranalyze.txtA saída após ...
Hadoop Streaming: Mapeador 'encapsulando' um executável binário
Eu tenho um pipeline que atualmente corro em um grande cluster de computadores da universidade. Para fins de publicação, gostaria de convertê-lo para o formato mapreduce, para que ele pudesse ser executado por qualquer pessoa usando um cluster ...
Hive, como recupero todas as colunas das tabelas do banco de dados
Eu quero escrever o equivalente a esta solicitação sql no Hive: select * from information_schema.columns where table_schema='database_name'Como acessar o metastore do hive e recuperar todas as colunas de todas as tabelas armazenadas em um banco ...