Wyniki wyszukiwania dla "mapreduce"
Rozmiar podziału wejścia Hadoop a rozmiar bloku
Przechodzę przez definitywny przewodnik hadoop, w którym wyraźnie wyjaśniono podział wejść. To idzie takPodziały wejściowe nie zawierają rzeczywistych danych...
Jak dokładnie działa partycjonowanie w MapReduce?
Myślę, że ogólnie dobrze rozumiem model programowania MapReduce, ale nawet po przeczytaniu oryginalnego artykułu i kilku innych źródeł wiele szczegółów jest ...
DiskErrorException na maszynie slave - Hadoop multinode
Próbuję przetworzyć pliki XML z hadoop, otrzymałem następujący błąd przy wywoływaniu zadania liczenia słów w plikach XML.
Odczyt pliku jako pojedynczego rekordu w hadoop
Mam ogromne nie. małych plików, chcę użyć CombineFileInputFormat, aby scalić pliki tak, że każdy plik danych jest w jednym rekordzie w moim zadaniu MR. Posze...
jaka jest podstawowa różnica między jobconf a pracą?
Witam chciałem poznać podstawową różnicę między jobconf a obiektami pracy, obecnie przesyłam taką pracę
Mapa zmniejsza utknięcie zadania na mapie 0% zmniejsza 0%
Używam słynnego przykładu liczenia słów. Mam ustawienia lokalne i prod. Ten sam przykład działa w prod, ale nie działa lokalnie. Czy ktoś może mi powiedzieć,...
Rozszerz SequenceFileInputFormat, aby dołączyć nazwę pliku + przesunięcie
Chciałbym móc utworzyć niestandardowy format InputFormat, który odczytuje pliki sekwencji, ale dodatkowo eksponuje ścieżkę pliku i odsunięcie w tym pliku, w ...
Jak przerwać zadanie MR wewnątrz programu odwzorowującego (lub reduktora)
Próbowałem rzucić IOExceptions w metodzie mapy, ale zadanie MR nie zostało zatrzymane. Zadanie zostanie zatrzymane po zgłoszeniu ton wyjątku IOException. Czy...