Resultados da pesquisa a pedido "large-data"
Fluxo analisa o arquivo XML de 4 GB em PHP
Estou tentando e preciso de ajuda para fazer o seguinte:Eu quero transmitir um arquivo XML grande (4 GB) com PHP. Eu não posso usar XML simples ou DOM porque...
Por que o MongoDB ocupa muito espaço?
Eu estou tentando armazenar registros com um conjunto de duplas e ints (em torno de 15-20) no mongoDB. Os registros principalmente (99,99%) têm a mesma estru...
Importar arquivo de texto usando o pacote ff
Eu tenho um arquivo de texto de 4,5 milhões de linhas e 90 colunas para importar para R.read.table Eu recebo ocannot allocate vector of size... mensagem de erro, então estou tentando importar usando o pacote ff antes de definir os dados ...
Centralidade de intermediação para dados em escala relativamente grande
Usando R, tento calcular a centralidade de intermediação para cerca de 1 milhão de nós e mais de 20 milhões de arestas. Para fazer isso, eu tenho uma máquina bastante decente com 128 GB de RAM e CPU de 4 * 2,40 GHz e janelas de 64 bits. No ...
Como leio apenas linhas que preenchem uma condição de um csv para R?
Estou tentando ler um arquivo csv grande em R. Mesmo que o arquivo seja grande, quero trabalhar apenas com algumas das linhas que atendem a uma condição específica (por exemplo, Variável2> = 3). Este é um conjunto de dados muito menor. Gostaria ...
Como encontrar todas as substrings únicas de uma string muito longa?
Eu tenho uma corda muito longa. Eu quero encontrar todas as substrings exclusivas dessa string. Tentei escrever o código em que usei umconjunto(python) para armazenar todas as substrings para garantir exclusividade. Estou obtendo resultado ...
R não pôde alocar memória no procedimento ff. Por quê?
Estou trabalhando em uma máquina Windows Server 2008 de 64 bits com processador Intel Xeon e 24 GB de RAM. Estou com problemas para tentar ler um arquivo TSV (delimitado por tabulação) específico de 11 GB (> 24 milhões de linhas, 20 colunas). Meu ...
Symfony2 / Doctrine faz com que $ statement-> execute () não "armazene em buffer" todos os valores
Eu tenho um conjunto de códigos básico como este (dentro de um controlador): $sql = 'select * from someLargeTable limit 1000'; $em = $this->getDoctrine()->getManager(); $conn = $em->getConnection(); $statement = $conn->prepare($sql); ...
Computações de log em Python
Estou procurando calcular algo como: Ondef(i) é uma função que retorna um número real em[-1,1] para qualqueri no{1,2,...,5000}. Obviamente, o resultado da soma está em algum lugar[-1,1], mas quando não consigo computar em Python usando ...
MemoryError - como baixar arquivos grandes via SDK do Google Drive usando Python
Estou ficando sem memória ao baixar um arquivo grande do meu Google Drive. Eu assumo issotmp = content.read(1024) não funciona, mas como corrigi-lo? Obrigado. def download_file(service, file_id): drive_file ...