Eu estou usando cURL para obter alguns dados de classificação para mais de 20.000 nomes de domínio que eu tenho armazenados em um banco de dados.

O código que estou usando éhttp://semlabs.co.uk/journal/object-oriented-curl-class-with-multi-threading.

A matriz $ competeRequests é de 20.000 solicitações para a compita.com para rankings de sites.

Este é um pedido de exemplo:http://apps.compete.com/sites/stackoverflow.com/trended/rank/?apikey=xxxx&start_date=201207&end_date=201208&jsonp=";

Como há 20.000 dessas solicitações, quero dividi-las em partes, por isso estou usando o seguinte código para realizar isso:

foreach(array_chunk($competeRequests, 1000) as $requests) {
    foreach($requests as $request) {
        $curl->addSession( $request, $opts );
    }

}

Isso funciona muito bem para enviar as solicitações em lotes de 1.000, mas o script demora muito para ser executado. Eu aumentei o max_execution_time para mais de 10 minutos.

Existe uma maneira de enviar 1.000 solicitações de minha matriz, em seguida, analisar os resultados e, em seguida, gerar uma atualização de status, em seguida, continuar com os próximos 1.000 até que a matriz esteja vazia? A partir de agora, a tela fica branca o tempo todo que o script está executando, o que pode durar mais de 10 minutos.