Manuseio de grandes consultas de seleção SQL / Leitura de dados sql em blocos

Estou usando .Net 4.0 e SQL server 2008 R2. Estou executando uma grande consulta de seleção SQL, que retorna milhões de resultados e leva muito tempo para ser totalmente executad Alguém sabe como posso ler apenas alguns dos resultados ...

Pedaço de fatia em Go

Eu tenho uma fatia com aproximadamente 2,1 milhões de strings de log e gostaria de criar uma fatia de fatias com as strings sendo distribuídas o mais uniformemente possível. Aqui está o que eu tenho até agora: // logs is a slice with ~2.1 ...

Reorganize um conduíte em pedaços maiores usando combinadores

Eu estou tentando construir umConduit que recebe como entradaByteStrings (de cerca de 1 kb por pedaço de tamanho) e produz como saída concatenadaByteStrings de pedaços de 512kb. Parece que deve ser fácil de fazer, mas estou tendo muitos ...

Como posso fazer upload de arquivos grandes por partes?

odificação em pedaços @HTTP. Precisa de um exemplo de 'Trailer' mencionado no SPEC

Estou escrevendo um analisador HTTP para um proxy transparente. O que está me impressionando é oTrailer: mencionado nas especificações paraTransfer-Encoding: chunked. Com o que se parece Normalmente, um bloco HTTP termina assim. 0\r\n \r\n O ...

Função eficiente (memória-sábia) para cálculos de matriz de distância repetidos E chunking de matrizes de distância extra grande

Gostaria de saber se alguém poderia dar uma olhada no código a seguir e no exemplo mínimo e sugerir melhorias - em particular, em relação à eficiência do cód...

Uso da memória serializando matrizes de byte em partes com Protobuf-net

Em nosso aplicativo, temos algumas estruturas de dados que, entre outras coisas, contêm uma lista de bytes em partes (atualmente exposta como

O que o método HTML5 File.slice está realmente fazendo?

Estou trabalhando com uma API personalizada para permitir que um usuário faça upload de um arquivo (de tamanho arbitrário). Se o arquivo for muito grande, ele será fragmentado e tratado em várias solicitações ao servidor. Estou escrevendo código ...

Existe uma maneira elegante de processar um fluxo em pedaços?

Meu cenário exato é inserir dados no banco de dados em lotes, por isso quero acumular objetos DOM a cada 1000, liberá-los. Eu o implementei colocando o código no acumulador para detectar a plenitude e a descarga, mas isso parece errado - o ...

Python maneira mais rápida de ler um arquivo de texto grande (vários GB) [duplicado]

Esta pergunta já tem uma resposta aqui: Como ler um arquivo grande, linha por linha, em Python [/questions/8009882/how-to-read-a-large-file-line-by-line-in-python] 10 respostas Eu tenho um arquivo de texto grande (~ 7 GB). Eu estou procurando ...