Actualmente tengo un problema al agregar un contenido de carpetas a Hives, desconfiado del caché. Puedo agregar exitosamente múltiples archivos al caché distribuido en Hive usando:

ADD FILE /folder/file1.ext;
ADD FILE /folder/file2.ext;
ADD FILE /folder/file3.ext;
etc.

.

También veo que hay unaADD FILES Opción (plural) que en mi opinión significa que podría especificar un directorio como:ADD FILES /folder/; y todo en la carpeta se incluye (esto funciona con la opción de archivos Hadoop Streaming). Pero esto no funciona con Hive. Ahora mismo tengo que agregar explícitamente cada archivo.

¿Estoy haciendo esto mal? ¿Hay alguna forma de tener un contenido completo de carpetas en el caché distribuido?

PD Probé comodinesADD FILE /folder/* yADD FILES /folder/* pero eso también falla.

Editar:

A partir de la colmena 0.11 esto ahora es compatible con:

ADD FILE /folder

ahora trabaja.

Lo que estoy usando es pasar la ubicación de la carpeta a la secuencia de comandos de Hive como un parámetro para que:

$ hive -f my-query.hql -hiveconf folder=/folder

y en el archivo my-query.hql:

ADD FILE ${hiveconf:folder}

Agradable y ordenado ahora!