Error intermitente de Hiveop / Hadoop: no se puede mover el origen al destino
Ha habido algunos artículos SO sobreHive/Hadoop
Error "No se puede mover la fuente". Muchos de ellos apuntan a un problema de permiso.
Sin embargo, en mi sitio vi el mismo error pero estoy bastante seguro de que no está relacionado con un problema de permiso. Esto se debe a que el problema es intermitente: funcionó un día pero falló otro día.
Así examiné más profundamente el mensaje de error. Se quejaba de no pasar de un
.../.hive-stating_hive.../-ext-10000/part-00000-${long-hash}
ruta de origen a una ruta de destino de
.../part-00000-${long-hash}
carpeta. ¿Esta observación haría sonar una campana con alguien?
Este error fue provocado por una consulta de prueba súper simple: simplemente inserte una fila en una tabla de prueba (ver más abajo)
Mensaje de error
org.apache.hadoop.hive.ql.metadata.HiveException:
Unable to move source
hdfs://namenodeHA/apps/hive/warehouse/some_db.db/testTable1/.hive-staging_hive_2018-02-02_23-02-13_065_2316479064583526151-5/-ext-10000/part-00000-832944cf-7db4-403b-b02e-55b6e61b1af1-c000
to destination
hdfs://namenodeHA/apps/hive/warehouse/some_db.db/testTable1/part-00000-832944cf-7db4-403b-b02e-55b6e61b1af1-c000;
Consulta que activó este error (pero solo de manera intermitente)
insert into testTable1
values (2);