Dlaczego MongoDB zajmuje tak dużo miejsca?

Próbuję przechowywać rekordy z zestawem podwójnych i intów (około 15-20) w mongoDB. Rekordy najczęściej (99,99%) mają tę samą strukturę.Kiedy przechowuję dan...

Przenoszenie dużej liczby dużych plików w repozytorium git

Moje repozytorium ma dużą liczbę dużych plików. Są to głównie dane (tekst). Czasami muszę przenieść te pliki do innej lokalizacji z powodu refaktoryzacji lub...

SELECT COUNT () vs mysql_num_rows ();

Mam duży stół (60+) milionów rekordów.Używam skryptu PHP do poruszania się po tej tabeli.Skrypt PHP (z paginacją) ładuje się bardzo szybko, ponieważ:Silnik t...

Jak mogę analizować ~ 13 GB danych?

Mam ~ 300 plików tekstowych zawierających dane o trackerach, torrentach i peerach. Każdy plik jest zorganizowany w następujący sposób:tracker.txt

Praca „Duże dane” odbywa się za pomocą pand

Próbowałem rozwiązać problem na to pytanie przez wiele miesięcy podczas nauki pand. Używam SAS do codziennej pracy i świetnie nadaje się do obsługi poza cent...

svd bardzo dużej macierzy w programie R

Przetwarzanie strumieniowe pliku XML 4 GB w PHP

Próbuję i potrzebuję pomocy, wykonując następujące czynności:Chcę przesyłać strumieniowo duży plik XML (4 GB) z PHP. Nie mogę używać prostego XML lub DOM, po...

Skuteczne czytanie pliku zip w Javie

Pracuję nad projektem, który działa na bardzo dużej ilości danych. Mam dużo (tysiące) plików zip, z których każdy zawiera JEDEN prosty plik txt z tysiącami l...

błąd przepełnienia stosu ochrony fread

Pamięć współdzielona w multiprocessingu