Передача списка в Javascript UDF в Apache Pig
Если у меня есть множество вещей в Pig, вот так:
datas = load './data.txt' using PigStorage( '\t');
list = load './frobdata.txt' using PigStorage();
И я хочу передать их в UDF, вот так:
register './enfrobinate.js' using javascript as frob;
frobbed = foreach datas generate flatten( frob.enfrobinate( list, $0 ) );
Кажется, я не могу найти прототип, который работает для передачи списка в javascript, а документация Pig не совсем понятна в отношении типов данных для UDF Javascript.
Я в курсеcross
в Свинья Это не то, что мне нужно (это дает мне декартово произведение. Это нормально, за исключением случаев, когда мы начинаем получать очень большие списки. В этом случае «список» состоит из нескольких тысяч элементов, а данные - из многих миллионов элементов.)