Lendo o arquivo zip eficientemente em Java

Estou trabalhando em um projeto que funciona em uma quantidade muito grande de dados. Eu tenho muitos (milhares) de arquivos zip, cada um contendo UM arquivo...

Como posso analisar ~ 13GB de dados?

Eu tenho ~ 300 arquivos de texto que contêm dados sobre rastreadores, torrents e peers. Cada arquivo é organizado assim:tracker.txt

PHP e o bebê de milhões de matriz

Imagine que você tenha a seguinte matriz de inteiros:

SELECT COUNT () vs mysql_num_rows ();

Eu tenho uma tabela grande (60+) milhões de registros.Estou usando o script PHP para navegar por essa tabela.O script PHP (com paginação) carrega muito rápid...

Memória compartilhada em multiprocessamento

Eu tenho três grandes listas. Primeiro contém bitarrays (módulo bitarray 0.8.0) e os outros dois contêm matrizes de inteiros.

Fluxos de trabalho de “grandes volumes de dados” usando pandas

Eu tentei decifrar uma resposta a essa pergunta por muitos meses enquanto aprendia pandas. Eu uso o SAS para o meu trabalho do dia-a-dia e é ótimo para o sup...

Movendo um grande número de arquivos grandes no repositório git

Meu repositório possui um grande número de arquivos grandes. Eles são principalmente dados (texto). Às vezes, preciso mover esses arquivos para outro local d...

svd de matriz muito grande no programa R

Eu tenho uma matriz de 60 000 x 60 000 em um arquivo txt, eu preciso obter svd desta matriz. Eu uso o R, mas não sei se o R pode gerá-lo.

Leia grandes dados do arquivo csv no php

erro de estouro de pilha de proteção de contato

Eu estou usando fread no data.table (1.8.8, R 3.0.1) em uma tentativa de ler arquivos muito grandes.O arquivo em questão tem 313 linhas e ~ 6,6 milhões de co...