Jak zachować plik dziennika zadań PIG, gdy się powiedzie.

Jak radzić sobie z pamięcią wycieku u świni

Mój kod wygląda tak:

Apache Pig: Załaduj plik, który pokazuje, jak dobrze używać hadoop fs -text

Mam pliki o nazwach part-r-000 [0-9] [0-9] i zawierające pola oddzielone tabulatorami. Mogę je zobaczyć używając

znalezienie średniej za pomocą świni lub hadoopa

Jak poprawić wydajność pracy świni, która ma bardzo przekrzywione dane?

Używam skryptu świni, który wykonuje GROUP BY i zagnieżdżony FOREACH, który wymaga godzin do uruchomienia z powodu jednego lub dwóch zadań zmniejszania. Na p...

Zapisz wynik świni w lokalnym pliku

Pig UDF działa na AWS EMR z java.lang.NoClassDefFoundError: org / apache / pig / LoadFunc

Zajmuję się tworzeniem aplikacji, która próbuje odczytać plik dziennika zapisany w S3 Bucks i przeanalizować go za pomocą Elastic MapReduce. Aktualny plik dz...

Wielopunktowa rękojeść PIG UDF podzielona na różne programy mapujące

Mam plik, w którym każda krotka obejmuje wiele linii, na przykład:

jak anulować polecenie w powłoce GRUNT

Jest to prawdopodobnie bardziej ogólne pytanie: wiele narzędzi w Linuksie ma własne powłoki. W moim przypadku używam świni i hbase. Czasami podczas wykonywan...

CDH4 Hbase przy użyciu Pig ERROR 2998 java.lang.NoClassDefFoundError: org / apache / hadoop / hbase / filter / Filter

Używam CDH4 w trybie pseudo-rozproszonym i mam problemy z pracą z HBase i Pig razem (ale oba działają dobrze same).Śledzę krok po kroku ten miły poradnik:htt...