Resultados da pesquisa a pedido "large-data"
erro de estouro de pilha de proteção de contato
Eu estou usando fread no data.table (1.8.8, R 3.0.1) em uma tentativa de ler arquivos muito grandes.O arquivo em questão tem 313 linhas e ~ 6,6 milhões de co...
Fluxo analisa o arquivo XML de 4 GB em PHP
Estou tentando e preciso de ajuda para fazer o seguinte:Eu quero transmitir um arquivo XML grande (4 GB) com PHP. Eu não posso usar XML simples ou DOM porque...
Por que o MongoDB ocupa muito espaço?
Eu estou tentando armazenar registros com um conjunto de duplas e ints (em torno de 15-20) no mongoDB. Os registros principalmente (99,99%) têm a mesma estru...
Todos os k vizinhos mais próximos em 2D, C ++
Eu preciso encontrar para cada ponto do conjunto de dados todos os seus vizinhos mais próximos. O conjunto de dados contém aprox. 10 milhões de pontos 2D. Os dados estão próximos da grade, mas não formam uma grade precisa ... Esta opção exclui ...
Qual é a diferença entre o método laravel cursor e laravel chunk?
Gostaria de saber qual é a diferença entre o método laravel chunk e o laravel cursor. Qual método é mais adequado para usar? Quais serão os casos de uso para os dois? Eu sei que você deve usar o cursor para economizar memória, mas como ele ...
R: xmlEventParse com entrada XML grande e de nó variável e conversão para quadro de dados
Eu tenho ~ 100 arquivos XML de dados de publicação cada um> 10 GB formatados assim: <?xml version="1.0" encoding="UTF-8"?> <records xmlns="http://website”> <REC rid=“this is a test”> <UID>ABCD123</UID> <data_1> <fullrecord_metadata> <references ...
Importar arquivo de texto usando o pacote ff
Eu tenho um arquivo de texto de 4,5 milhões de linhas e 90 colunas para importar para R.read.table Eu recebo ocannot allocate vector of size... mensagem de erro, então estou tentando importar usando o pacote ff antes de definir os dados ...
Centralidade de intermediação para dados em escala relativamente grande
Usando R, tento calcular a centralidade de intermediação para cerca de 1 milhão de nós e mais de 20 milhões de arestas. Para fazer isso, eu tenho uma máquina bastante decente com 128 GB de RAM e CPU de 4 * 2,40 GHz e janelas de 64 bits. No ...
Como leio apenas linhas que preenchem uma condição de um csv para R?
Estou tentando ler um arquivo csv grande em R. Mesmo que o arquivo seja grande, quero trabalhar apenas com algumas das linhas que atendem a uma condição específica (por exemplo, Variável2> = 3). Este é um conjunto de dados muito menor. Gostaria ...