Resultados da pesquisa a pedido "large-data"
R: xmlEventParse com entrada XML grande e de nó variável e conversão para quadro de dados
Eu tenho ~ 100 arquivos XML de dados de publicação cada um> 10 GB formatados assim: <?xml version="1.0" encoding="UTF-8"?> <records xmlns="http://website”> <REC rid=“this is a test”> <UID>ABCD123</UID> <data_1> <fullrecord_metadata> <references ...
Qual é a diferença entre o método laravel cursor e laravel chunk?
Gostaria de saber qual é a diferença entre o método laravel chunk e o laravel cursor. Qual método é mais adequado para usar? Quais serão os casos de uso para os dois? Eu sei que você deve usar o cursor para economizar memória, mas como ele ...
Inserir grande quantidade de dados no BigQuery por meio da biblioteca bigquery-python
Eu tenho arquivos csv grandes e arquivos excel, onde os leio e crio o script de criação de tabela necessário dinamicamente, dependendo dos campos e tipos que ele possui. Em seguida, insira os dados na tabela criada. eu ...
Gravando quadros de dados do Panda em um arquivo csv em pedaços
Eu tenho um conjunto de arquivos de dados grandes (1 milhão de linhas x 20 cols). No entanto, apenas cinco colunas desses dados são do meu interesse. Eu acho que posso facilitar as coisas para mim criando cópias desses arquivos apenas com as ...
Projetando um algoritmo de classificação de memória externa
Se eu tiver uma lista muito grande armazenada na memória externa que precise ser classificada. Como essa lista é muito grande para a memória interna, que fatores principais devem ser considerados ao projetar um algoritmo de classificação externa?
RANK ou ROW_NUMBER no BigQuery em um grande conjunto de dados
Preciso adicionar números de linhas a um grande conjunto de dados (cerca de bilhões de linhas) no BigQuery. Quando tento: SELECT * ROW_NUMBER() OVER (ORDER BY d_arf DESC) plarf FROM [trigram.trigrams8] Recebo "Recursos excedidos durante a ...
Como gravar com eficiência arquivos grandes em disco no thread de segundo plano (Swift)
Atualizar Resolvi e removi o erro de distração. Leia o post inteiro e fique à vontade para deixar comentários se houver alguma dúvida. fundo Estou tentando gravar arquivos relativamente grandes (vídeo) em disco no iOS usando o Swift 2.0, o GCD ...
MATLAB permutando aleatoriamente colunas de maneira diferente
Eu tenho uma matriz muito grande A com N linhas e M colunas. Eu quero basicamente fazer a seguinte operação for k = 1:N A(k,:) = A(k,randperm(M)); endmas rápido e eficiente. (M e N são muito grandes, e esse é apenas um loop interno em um loop ...
R - Por que adicionar uma coluna à tabela de dados quase dobra o pico de memória usado?
Depois de receberSocorro [https://stackoverflow.com/questions/28279078/r-how-to-run-average-max-on-different-data-table-columns-based-on-multiple-f] de dois senhores, consegui passar para as tabelas de dados do quadro de dados + plyr. A situação ...
MemoryError - como baixar arquivos grandes via SDK do Google Drive usando Python
Estou ficando sem memória ao baixar um arquivo grande do meu Google Drive. Eu assumo issotmp = content.read(1024) não funciona, mas como corrigi-lo? Obrigado. def download_file(service, file_id): drive_file ...