cURL многопоточность с PHP

Я использую cURL, чтобы получить некоторые данные ранга для более чем 20000 доменных имен, которые я сохранил в базе данных.

Код, который я использую,http://semlabs.co.uk/journal/object-oriented-curl-class-with-multi-threading.

Массив $ CompetteRequests представляет собой 20000 запросов к API Compette.com для рангов сайтов.

This is an example request: http://apps.compete.com/sites/stackoverflow.com/trended/rank/?apikey=xxxx&start_date=201207&end_date=201208&jsonp=& Quot ;;

Поскольку существует 20 000 таких запросов, я хочу разбить их на куски, поэтому для этого я использую следующий код:

foreach(array_chunk($competeRequests, 1000) as $requests) {
    foreach($requests as $request) {
        $curl->addSession( $request, $opts );
    }

}

Это прекрасно работает для отправки запросов партиями по 1000, однако выполнение сценария занимает слишком много времени. Я увеличил время max_execution_time более чем на 10 минут.

Is there a way to send 1,000 requests from my array then parse the results then output a status update then continue with the next 1,000 until the array is empty? As of now the screen just stays white the entire time the script is executing which can be over 10 minutes.

Ответы на вопрос(4)

Ваш ответ на вопрос