Dodaj wiele plików do rozproszonej pamięci podręcznej w HIVE
Obecnie mam problem z dodawaniem zawartości folderów do zaufanej pamięci podręcznej Hives. Mogę z powodzeniem dodawać wiele plików do rozproszonej pamięci podręcznej w gałęzi Hive, używając:
ADD FILE /folder/file1.ext;
ADD FILE /folder/file2.ext;
ADD FILE /folder/file3.ext;
etc.
.
Widzę również, że istniejeADD FILES (liczba mnoga), która w moim umyśle oznacza, że możesz określić katalog taki jak:ADD FILES /folder/; i wszystko w folderze zostanie uwzględnione (działa to z opcją Hadoop Streaming -files). Ale to nie działa z Hive. W tej chwili muszę wyraźnie dodać każdy plik.
Czy robię to źle? Czy istnieje sposób na umieszczenie całej zawartości folderów w rozproszonej pamięci podręcznej.
P.S. Próbowałem dzikich kartADD FILE /folder/* iADD FILES /folder/* ale to także zawodzi.
Edytować:
W ulu 0.11 jest teraz obsługiwane:
ADD FILE /folder
teraz działa.
To, czego używam, to przekazanie lokalizacji folderu do skryptu gałęzi jako param tak:
$ hive -f my-query.hql -hiveconf folder=/folder
iw pliku my-query.hql:
ADD FILE ${hiveconf:folder}
Miło i schludnie teraz!