Resultados da pesquisa a pedido "hadoop"
obter JAVA_HOME está definido incorretamente com o hadoop
Acabei de baixar o hadoop e descompacte o arquivo. mas quando executo o comando hadoop version no prompt de comando, estou recebendo o erro abaixo. Verifico novamente e JAVA_HOME está definido como "C: \ Arquivos de Programas \ Java ...
Conecte-se aos dados S3 do PySpark
Estou tentando ler um arquivo JSON, do Amazon s3, para criar um contexto de faísca e usá-lo para processar os dados. O Spark está basicamente em um contêiner de encaixe. Portanto, colocar arquivos no caminho do docker também é PITA. Por isso, ...
Hive FAILED: a linha ParseException 2: 0 não pode reconhecer a entrada próxima a '' macaddress '' 'CHAR' '(' na especificação da coluna
Eu tentei correrhive -v -f sqlfile.sql Aqui está o conteúdo do arquivo CREATE TABLE UpStreamParam ( 'macaddress' CHAR(50), 'datats' BIGINT, 'cmtstimestamp' BIGINT, 'modulation' INT, 'chnlidx' INT, 'severity' BIGINT, 'rxpower' FLOAT, 'sigqnoise' ...
Erro de permissão negada ao criar o banco de dados na seção
Estou tentando o banco de dados na seção, mas quando executo a consulta abaixo no HIVE: CREATE DATABASE BIGDATA;Eu recebo a seguinte mensagem de erro: FAILED: Erro nos metadados: MetaException (mensagem: obteve ...
Como passar arquivos Jar para shell script no nó shell OOZIE
Olá, estou recebendo o erro abaixo ao executar um programa java em um script que está sendo executado no fluxo de trabalho de ação do shell oozie. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in ...
FileNotFoundException ao usar o cache distribuído do Hadoop
Desta vez, alguém deve por favor relpy Estou lutando com a execução do meu código usando cahe distribuído. Eu já tenho os arquivos em hdfs, mas quando executo este código: import java.awt.image.BufferedImage; import ...
Não foi possível conectar-se ao armazenamento de blues azuis com o hadoop local
Enquanto tenta conectar ohadoop localcom oAZURE BLOBarmazenamento (ou seja, usando oarmazenamento de blob como HDFS) com a versão Hadoop - 2.7.1, lança exceção Aqui eu formei com sucesso o cluster local definindo a propriedade <property> ...
A manipulação de erros no mapa hadoop reduz
Com base na documentação, existem algumas maneiras de reduzir o tratamento de erros no mapa. Abaixo estão alguns: uma. Contadores personalizados usando enum - incremento para cada registro com falha. b. Registre o erro e analise mais tarde. Os ...
nifi ConvertRecord JSON para CSV recebendo apenas um único registro?
Eu tenho o fluxo abaixo configurado para ler dados json e convertê-lo em csv usando o processador convertRecord. No entanto, o arquivo de fluxo de saída é preenchido apenas com um único registro(Estou assumindo apenas o primeiro registro) em vez ...
Otimização de junção do Hive
Eu tenho dois conjuntos de dados armazenados em um bucket S3 que eu preciso processar no Hive e armazenar a saída novamente no S3. As linhas de amostra de cada conjunto de dados são as seguintes: DataSet 1: ...