Używam cURL, aby uzyskać pewne dane o rankingu dla ponad 20 000 nazw domen, które zapisałem w bazie danych.

Kod, którego używam, jesthttp://semlabs.co.uk/journal/object-oriented-curl-class-with-multi-threading.

Tablica $ competeRequests to 20 000 żądań do konkurencyjnego serwisu api dla rankingów witryn.

To jest przykładowe żądanie:http://apps.compete.com/sites/stackoverflow.com/trended/rank/?apikey=xxxx&start_date=201207&end_date=201208&jsonp=„;

Ponieważ istnieje 20 000 takich żądań, chcę je podzielić na porcje, więc używam następującego kodu, aby to osiągnąć:

foreach(array_chunk($competeRequests, 1000) as $requests) {
    foreach($requests as $request) {
        $curl->addSession( $request, $opts );
    }

}

Działa to doskonale do wysyłania żądań w partiach po 1000, jednak wykonanie skryptu trwa zbyt długo. Zwiększono max_execution_time do ponad 10 minut.

Czy istnieje sposób na wysłanie 1000 żądań z mojej tablicy, a następnie przeanalizowanie wyników, a następnie wygenerowanie aktualizacji stanu, a następnie kontynuacja z następną 1000, aż tablica będzie pusta? Obecnie ekran pozostaje biały przez cały czas wykonywania skryptu, co może trwać ponad 10 minut.