Resultados da pesquisa a pedido "large-data"
Computações de log em Python
Estou procurando calcular algo como: Ondef(i) é uma função que retorna um número real em[-1,1] para qualqueri no{1,2,...,5000}. Obviamente, o resultado da soma está em algum lugar[-1,1], mas quando não consigo computar em Python usando ...
Como gravar com eficiência arquivos grandes em disco no thread de segundo plano (Swift)
Atualizar Resolvi e removi o erro de distração. Leia o post inteiro e fique à vontade para deixar comentários se houver alguma dúvida. fundo Estou tentando gravar arquivos relativamente grandes (vídeo) em disco no iOS usando o Swift 2.0, o GCD ...
Gravando quadros de dados do Panda em um arquivo csv em pedaços
Eu tenho um conjunto de arquivos de dados grandes (1 milhão de linhas x 20 cols). No entanto, apenas cinco colunas desses dados são do meu interesse. Eu acho que posso facilitar as coisas para mim criando cópias desses arquivos apenas com as ...
possível salvar apenas metade de uma matriz simétrica para economizar memóri
Existe uma matriz grande usada emAx=b tipo de problema.A é simétrico. Existe algum algoritmo que nos permita salvar apenas metade da matriz e fazer operações comox=A\b nele
Adicione linhas a um arquivo
Sou novo usando R. Estou tentando adicionar novas linhas em um arquivo com meus dados existentes em R. O problema é que meus dados são de cerca de 30000 linhas e 13000 cols. Eu já tento adicionar uma linha com a função writeLines, mas o arquivo ...
Como posso analisar ~ 13GB de dados?
Eu tenho ~ 300 arquivos de texto que contêm dados sobre rastreadores, torrents e peers. Cada arquivo é organizado assim:tracker.txt
PHP e o bebê de milhões de matriz
Imagine que você tenha a seguinte matriz de inteiros:
Importar arquivo de texto usando o pacote ff
Eu tenho um arquivo de texto de 4,5 milhões de linhas e 90 colunas para importar para R.read.table Eu recebo ocannot allocate vector of size... mensagem de erro, então estou tentando importar usando o pacote ff antes de definir os dados ...
Symfony2 / Doctrine faz com que $ statement-> execute () não "armazene em buffer" todos os valores
Eu tenho um conjunto de códigos básico como este (dentro de um controlador): $sql = 'select * from someLargeTable limit 1000'; $em = $this->getDoctrine()->getManager(); $conn = $em->getConnection(); $statement = $conn->prepare($sql); ...
Qual é a diferença entre o método laravel cursor e laravel chunk?
Gostaria de saber qual é a diferença entre o método laravel chunk e o laravel cursor. Qual método é mais adequado para usar? Quais serão os casos de uso para os dois? Eu sei que você deve usar o cursor para economizar memória, mas como ele ...