Resultados da pesquisa a pedido "hive"
Analisar tags XML repetidas no Hive
estou usandohivexmlserdepara analisar arquivos xml. Estou analisando algumas tags repetidas no meu xml e armazenando-as comomatriz <corda>. O resultado que estou recebendo é mostrado ...
Exceção ao usar a vista lateral no Hive
Estou usando o código abaixo para analisar dados xml no Hive. Nos meus dados xml, algumas tags estão se repetindo, então estou usando o jarro de tijolo e a vista lateral para analisar as tags e colocá-las nas tabelas do Hive. Mas quando estou ...
Relatório do Spark Hive pyspark.sql.utils.AnalysisException: u'Table não encontrado: XXX 'quando executado no cluster de fios
Estou tentando executar um script pyspark no BigInsights on Cloud 4.2 Enterprise que acessa uma tabela do Hive. Primeiro, crio a tabela de seção: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); OK Time ...
Relatórios do Spark Hive ClassNotFoundException: com.ibm.biginsights.bigsql.sync.BIEventListener
Estou tentando executar um script pyspark no BigInsights on Cloud 4.2 Enterprise que acessa uma tabela do Hive. Primeiro, crio a tabela de seção: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); OK Time ...
No Pyspark HiveContext, o que é equivalente a SQL OFFSET?
Ou uma pergunta mais específica seria como processar grandes quantidades de dados que não cabem na memória de uma só vez? Com OFFSET, eu estava tentando executar o hiveContext.sql ("selecione ... limite 10 de deslocamento 10") enquanto ...
Operação não permitida: alterar tabela e adicionar colunas (linha 1, pos 0)
Nós temosSpark 2.1, Thrift JDBC/ODBC servidor configurado comHive 2.1.1 e usandoBeeline. Instruções DDL como CRIAR TABELA, CRIAR TABELA COMO, CRIAR TABELA COMO, ALTER TABLE SET TBLPROPERTIES funciona bem. MasALTER TABLE ADD COLUMNS ...
quantos mapeadores e redutores serão criados para uma tabela particionada no hive
Estou sempre confuso sobre quantos mapeadores e reduções serão criados para uma tarefa específica no hive. por exemplo, se o tamanho do bloco = 128mb e houver 365 arquivos cada mapeados para uma data em um ano (tamanho do arquivo = 1 mb cada). Há ...
Como remover duplicatas na cadeia de hive?
Eu tenho a vírgula da coluna (string) separada com valores duplicados. Quero remover duplicatas: por exemplo. nome da coluna ----------------- arma, arma, homem, arma, homem lançadeira, inimigo, inimigo, corra bater, perseguir Quero resultado ...
Spark sem Hadoop: falha ao iniciar
Estou executando o Spark 2.1.0, Hive 2.1.1 e Hadoop 2.7.3 no Ubuntu 16.04. Eu baixo o projeto Spark do github e construo a versão "without hadoop": ./dev/make-distribution.sh --name "hadoop2-sem-ramificação" --tgz "-Pyarn, fornecido pelo ...
Calcular hash sem usar a função de hash existente no Hive
Eu quero calcular o hash para seqüências de caracteres na seção sem escrever qualquer UDF usando apenas as funções existentes. Para que eu possa usar uma abordagem semelhante para obter hash consistente em outros idiomas. por exemplo: existem ...