Falha intermitente do Hive / Hadoop: Não é possível mover a origem para o destino
Existem alguns artigos sobre SOHive/Hadoop
Erro "Não foi possível mover a origem". Muitos deles apontam para um problema de permissão.
No entanto, no meu site, vi o mesmo erro, mas tenho certeza de que não está relacionado ao problema de permissão. Isso ocorre porque o problema é intermitente - funcionou um dia, mas falhou em outro dia.
Assim, examinei mais profundamente a mensagem de erro. Ele estava reclamando por não ter passado de um
.../.hive-stating_hive.../-ext-10000/part-00000-${long-hash}
caminho de origem para um caminho de destino de
.../part-00000-${long-hash}
pasta. Essa observação tocaria um sino com alguém?
Este erro foi acionado por uma consulta de teste super simples: basta inserir uma linha em uma tabela de teste (veja abaixo)
Mensagem de erro
org.apache.hadoop.hive.ql.metadata.HiveException:
Unable to move source
hdfs://namenodeHA/apps/hive/warehouse/some_db.db/testTable1/.hive-staging_hive_2018-02-02_23-02-13_065_2316479064583526151-5/-ext-10000/part-00000-832944cf-7db4-403b-b02e-55b6e61b1af1-c000
to destination
hdfs://namenodeHA/apps/hive/warehouse/some_db.db/testTable1/part-00000-832944cf-7db4-403b-b02e-55b6e61b1af1-c000;
Consulta que acionou esse erro (mas apenas de forma intermitente)
insert into testTable1
values (2);