Resultados da pesquisa a pedido "hive"
hive substituir diretório mover processo como distcp?
Quando eu corro umINSERT OVERWRITE DIRECTORY consulta no hive, parece armazenar os resultados em um.hivexxxx pasta de teste e mova os arquivos de lá para o diretório ... No final do processo de redução do mapa, mostra o seguinte: Moving data ...
Obter propriedades da tabela do Hive usando a API Java
Estou tentando obter propriedades da tabela como tabela db, nome, proprietário e localização de hdfs fora do metastore do hive usando o cliente metastore em java. Eu acho que posso obter os bancos de dados e nomes de tabelas bem, mas não consigo ...
Tabelas de seção não encontradas ao executar no modo YARN-Cluster
Eu tenho um aplicativo Spark (versão 1.4.1) no HDP 2.3. Funciona bem ao executá-lo no modo YARN-Client. No entanto, ao executá-lo no modo YARN-Cluster, nenhuma das minhas tabelas do Hive pode ser encontrada pelo aplicativo. Eu envio a inscrição ...
Por que meu BroadcastHashJoin é mais lento que ShuffledHashJoin no Spark
Eu executo uma junção usando umjavaHiveContext no Spark. A mesa grande é de 1,76Gb e tem 100 milhões de registros. A segunda tabela é 273Mb e possui 10 milhões de registros. Eu recebo umJavaSchemaRDD e eu ligocount() nele: String ...
Tente atualizar ou excluir usando o gerenciador de transações que não suporta essas operações
Ao tentar atualizar os dados na tabela Hive na VM de início rápido Cloudera, estou recebendo esse erro. Erro ao compilar a instrução: FAILED: SemanticException [Erro 10294]: Tente atualizar ou excluir usando o gerenciador de transações que não ...
Criar tabela do Hive para ler arquivos em parquet do esquema parquet / avro
Estamos procurando uma solução para criar uma tabela de seção externa para ler dados de arquivos em parquet de acordo com um esquema parquet / avro. de outra maneira, como gerar uma tabela de colméia a partir de um esquema parquet / ...
Quando os arquivos são "dividíveis"?
Quando estou usando o spark, às vezes encontro um arquivo enorme em umHIVE tabela, e às vezes estou tentando processar muitos arquivos menores em uma tabela HIVE. Entendo que, ao ajustar trabalhos de faísca, como ele funciona depende se ...
Como é o hive-site.xml, incluindo o $ SPARK_HOME?
Sou iniciante na seção, algo aconteceu (não consigo encontrar a tabela) quando inicio o trabalho de faísca e leio os dados da seção. Não defino hive-site.xml em $ SPARK_HOME / conf? envie o comando do trabalho de faísca está ...
Alterar coluna adicionar ou remover coluna da tabela
Eu tenho a tabela orc na seção Eu quero soltar a coluna desta tabela ALTER TABLE table_name drop col_name;mas estou recebendo a seguinte exceção Ocorreu um erro ao executar a consulta da seção: OK FAILED: Entrada incompatível da linha ...
Como calcular a mediana no spark sqlContext para a coluna do tipo de dados double
Eu dei a tabela de amostra. Desejo obter a mediana da coluna "valor" para cada coluna "origem" do grupo. Onde a coluna de origem é de String DataType, a coluna de valor é de double DataType scala> sqlContext.sql("SELECT * from tTab order by ...