Resultados da pesquisa a pedido "hadoop"

3 a resposta

Não foi possível localizar ou carregar a classe principal com.sun.tools.javac.Main hadoop mapreduce

Estou tentando aprender o MapReduce, mas estou um pouco perdido no ...

2 a resposta

Hive, como recupero todas as colunas das tabelas do banco de dados

Eu quero escrever o equivalente a esta solicitação sql no Hive: select * from information_schema.columns where table_schema='database_name'Como acessar o metastore do hive e recuperar todas as colunas de todas as tabelas armazenadas em um banco ...

2 a resposta

Hadoop Pig - Removendo o cabeçalho csv

Meus arquivos CSV têm cabeçalho na primeira linha. Carregá-los no porco cria uma bagunça nas funções subseqüentes (como SUM). A partir de hoje, primeiro aplico um filtro nos dados carregados para remover as linhas que contêm os ...

2 a resposta

Como definir a configuração no arquivo Hive-Site.xml para a conexão do metastore do hive?

Quero conectar o MetaStore usando o código java. Não tenho idéia de como definir a configuração no arquivo Hive-Site.xml e onde postarei o arquivo Hive-Site.xml. Por favor ajude. import java.sql.Connection; import java.sql.DriverManager; ...

1 a resposta

HDFS do Hadoop com Spark

Eu sou novo na computação em cluster e estou tentando configurar um cluster mínimo de 2 nós no Spark. Ainda estou um pouco confuso: Preciso configurar uma instalação completa do Hadoop primeiro, para que o Spark envie uma versão incluída do ...

1 a resposta

A maneira mais fácil de instalar dependências do Python nos nós do executor do Spark?

Entendo que você pode enviar arquivos individuais como dependências com os programas Python Spark. Mas e as bibliotecas completas (por exemplo, numpy)? O Spark tem uma maneira de usar um gerenciador de pacotes fornecido (por exemplo, pip) para ...

6 a resposta

Importação do Sqoop - a função file-password não está funcionando corretamente no sqoop 1.4.4

Estou usando o hadoop-1.2.1 e a versão do sqoop é 1.4.4. Estou tentando executar a seguinte consulta. sqoop import --connect jdbc:mysql://IP:3306/database_name --table clients --target-dir /data/clients --username root --password-file ...

1 a resposta

java.lang.OutOfMemoryError: espaço de heap Java com seção

Eu usei o hadoop hive 0.9.0 e 1.1.2 e o netbeans, mas recebi esse erro e não consigo resolver esse problema, por favor me ajude a codificar: public class Hive_test { private static String driverName ...

4 a resposta

Como instalar os pacotes do RHadoop (Rmr, Rhdfs, Rhbase)?

Na verdade, estou tentando meu melhor nível para integrar com o R, mas recebi esse erro. pacotes 'rmr', 'rJava', 'RJSONIO', 'rhdfs', 'rhbase', 'plyrmr' não estão disponíveis (para R versão 3.1.3) Etapas para integrar o Hadoop ao R: R instalado ...

2 a resposta

Por que existe uma configuração mapreduce.jobtracker.address no YARN?

YARN é a segunda geração do Hadoop que não usa mais o daemon do jobtracker e o substitui pelo gerenciador de recursos. Mas por que, no mapred-site.xml hadoop 2, existe uma propriedade mapreduce.jobtracker.address?