Atualmente, tenho um problema ao adicionar um conteúdo de pastas ao cache desconfiado do Hives. Posso adicionar com êxito vários arquivos ao cache distribuído no Hive usando:

ADD FILE /folder/file1.ext;
ADD FILE /folder/file2.ext;
ADD FILE /folder/file3.ext;
etc.

.

Eu também vejo que há umADD FILES (plural) opção que na minha mente significa que você poderia especificar um diretório como:ADD FILES /folder/; e tudo na pasta é incluído (isso funciona com a opção -files do Hadoop Streaming). Mas isso não funciona com o Hive. Agora eu tenho que adicionar explicitamente cada arquivo.

Estou fazendo isso errado? Existe uma maneira de ter um conteúdo de pastas inteiras para o cache distribuído.

P.S. Eu tentei cartões selvagensADD FILE /folder/* eADD FILES /folder/* mas isso também falha.

Editar:

A partir da seção 0.11 isso agora é suportado assim:

ADD FILE /folder

agora funciona.

O que eu estou usando está passando o local da pasta para o script de ramificação como um param assim:

$ hive -f my-query.hql -hiveconf folder=/folder

e no arquivo my-query.hql:

ADD FILE ${hiveconf:folder}

Nice e arrumado agora!