Resultados da pesquisa a pedido "hadoop"
Não foi possível localizar ou carregar a classe principal com.sun.tools.javac.Main hadoop mapreduce
Estou tentando aprender o MapReduce, mas estou um pouco perdido no ...
Hive, como recupero todas as colunas das tabelas do banco de dados
Eu quero escrever o equivalente a esta solicitação sql no Hive: select * from information_schema.columns where table_schema='database_name'Como acessar o metastore do hive e recuperar todas as colunas de todas as tabelas armazenadas em um banco ...
Hadoop Pig - Removendo o cabeçalho csv
Meus arquivos CSV têm cabeçalho na primeira linha. Carregá-los no porco cria uma bagunça nas funções subseqüentes (como SUM). A partir de hoje, primeiro aplico um filtro nos dados carregados para remover as linhas que contêm os ...
Como definir a configuração no arquivo Hive-Site.xml para a conexão do metastore do hive?
Quero conectar o MetaStore usando o código java. Não tenho idéia de como definir a configuração no arquivo Hive-Site.xml e onde postarei o arquivo Hive-Site.xml. Por favor ajude. import java.sql.Connection; import java.sql.DriverManager; ...
HDFS do Hadoop com Spark
Eu sou novo na computação em cluster e estou tentando configurar um cluster mínimo de 2 nós no Spark. Ainda estou um pouco confuso: Preciso configurar uma instalação completa do Hadoop primeiro, para que o Spark envie uma versão incluída do ...
A maneira mais fácil de instalar dependências do Python nos nós do executor do Spark?
Entendo que você pode enviar arquivos individuais como dependências com os programas Python Spark. Mas e as bibliotecas completas (por exemplo, numpy)? O Spark tem uma maneira de usar um gerenciador de pacotes fornecido (por exemplo, pip) para ...
Importação do Sqoop - a função file-password não está funcionando corretamente no sqoop 1.4.4
Estou usando o hadoop-1.2.1 e a versão do sqoop é 1.4.4. Estou tentando executar a seguinte consulta. sqoop import --connect jdbc:mysql://IP:3306/database_name --table clients --target-dir /data/clients --username root --password-file ...
java.lang.OutOfMemoryError: espaço de heap Java com seção
Eu usei o hadoop hive 0.9.0 e 1.1.2 e o netbeans, mas recebi esse erro e não consigo resolver esse problema, por favor me ajude a codificar: public class Hive_test { private static String driverName ...
Como instalar os pacotes do RHadoop (Rmr, Rhdfs, Rhbase)?
Na verdade, estou tentando meu melhor nível para integrar com o R, mas recebi esse erro. pacotes 'rmr', 'rJava', 'RJSONIO', 'rhdfs', 'rhbase', 'plyrmr' não estão disponíveis (para R versão 3.1.3) Etapas para integrar o Hadoop ao R: R instalado ...
Por que existe uma configuração mapreduce.jobtracker.address no YARN?
YARN é a segunda geração do Hadoop que não usa mais o daemon do jobtracker e o substitui pelo gerenciador de recursos. Mas por que, no mapred-site.xml hadoop 2, existe uma propriedade mapreduce.jobtracker.address?