Resultados da pesquisa a pedido "large-data"
Como encontrar todas as substrings únicas de uma string muito longa?
Eu tenho uma corda muito longa. Eu quero encontrar todas as substrings exclusivas dessa string. Tentei escrever o código em que usei umconjunto(python) para armazenar todas as substrings para garantir exclusividade. Estou obtendo resultado ...
R não pôde alocar memória no procedimento ff. Por quê?
Estou trabalhando em uma máquina Windows Server 2008 de 64 bits com processador Intel Xeon e 24 GB de RAM. Estou com problemas para tentar ler um arquivo TSV (delimitado por tabulação) específico de 11 GB (> 24 milhões de linhas, 20 colunas). Meu ...
Symfony2 / Doctrine faz com que $ statement-> execute () não "armazene em buffer" todos os valores
Eu tenho um conjunto de códigos básico como este (dentro de um controlador): $sql = 'select * from someLargeTable limit 1000'; $em = $this->getDoctrine()->getManager(); $conn = $em->getConnection(); $statement = $conn->prepare($sql); ...
Computações de log em Python
Estou procurando calcular algo como: Ondef(i) é uma função que retorna um número real em[-1,1] para qualqueri no{1,2,...,5000}. Obviamente, o resultado da soma está em algum lugar[-1,1], mas quando não consigo computar em Python usando ...
MemoryError - como baixar arquivos grandes via SDK do Google Drive usando Python
Estou ficando sem memória ao baixar um arquivo grande do meu Google Drive. Eu assumo issotmp = content.read(1024) não funciona, mas como corrigi-lo? Obrigado. def download_file(service, file_id): drive_file ...
R - Por que adicionar uma coluna à tabela de dados quase dobra o pico de memória usado?
Depois de receberSocorro [https://stackoverflow.com/questions/28279078/r-how-to-run-average-max-on-different-data-table-columns-based-on-multiple-f] de dois senhores, consegui passar para as tabelas de dados do quadro de dados + plyr. A situação ...
MATLAB permutando aleatoriamente colunas de maneira diferente
Eu tenho uma matriz muito grande A com N linhas e M colunas. Eu quero basicamente fazer a seguinte operação for k = 1:N A(k,:) = A(k,randperm(M)); endmas rápido e eficiente. (M e N são muito grandes, e esse é apenas um loop interno em um loop ...
Como gravar com eficiência arquivos grandes em disco no thread de segundo plano (Swift)
Atualizar Resolvi e removi o erro de distração. Leia o post inteiro e fique à vontade para deixar comentários se houver alguma dúvida. fundo Estou tentando gravar arquivos relativamente grandes (vídeo) em disco no iOS usando o Swift 2.0, o GCD ...
RANK ou ROW_NUMBER no BigQuery em um grande conjunto de dados
Preciso adicionar números de linhas a um grande conjunto de dados (cerca de bilhões de linhas) no BigQuery. Quando tento: SELECT * ROW_NUMBER() OVER (ORDER BY d_arf DESC) plarf FROM [trigram.trigrams8] Recebo "Recursos excedidos durante a ...
Projetando um algoritmo de classificação de memória externa
Se eu tiver uma lista muito grande armazenada na memória externa que precise ser classificada. Como essa lista é muito grande para a memória interna, que fatores principais devem ser considerados ao projetar um algoritmo de classificação externa?