Wyniki wyszukiwania dla "mapreduce"
Jakie są scenariusze, dla których MPI jest lepiej dopasowane niż MapReduce?
O ile mi wiadomo, MPI daje mi znacznie większą kontrolę nad tym, jak dokładnie będą komunikować się różne węzły w klastrze.W MapReduce / Hadoop każdy węzeł w...
Kontener działa poza limitami pamięci
W Hadoop v1 przypisałem każdemu 7 maperowi i reduktorowi rozmiar 1 GB, moje mapery i reduktory działają dobrze. Moja maszyna ma pamięć 8G, 8 procesorów. Tera...
Jak MapReduce odczytuje z wielu plików wejściowych?
Opracowuję kod do odczytu danych i zapisywania go
Hadoop i Python: Wyłącz sortowanie
Zdałem sobie sprawę, że podczas uruchamiania Hadoop z kodem Pythona, albo program odwzorowujący, albo reduktor (nie wiem, który) sortuje moje dane, zanim zos...
Odczyt pliku jako pojedynczego rekordu w hadoop
Mam ogromne nie. małych plików, chcę użyć CombineFileInputFormat, aby scalić pliki tak, że każdy plik danych jest w jednym rekordzie w moim zadaniu MR. Posze...
Jak klient zadania w hadoop oblicza dane wejściowe
Próbuję uzyskać wgląd w architekturę zmniejszania mapy. Konsultuję tohttp://answers.oreilly.com/topic/2141-how-mapreduce-works-with-hadoop/ artykuł. Mam kilk...