php - самый быстрый способ проверить наличие текста во многих доменах (выше 1000)
У меня работает скрипт php, и я использую cURL для получения содержимого веб-страниц, на которых я хотел бы проверить наличие текста.
Прямо сейчас это выглядит так:
for( $i = 0; $i < $num_target; $i++ ) {
$ch = curl_init();
$timeout = 10;
curl_setopt ($ch, CURLOPT_URL,$target[$i]);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt ($ch, CURLOPT_FORBID_REUSE, true);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$url = curl_exec ($ch);
curl_close($ch);
if (preg_match($text,$url,$match)) {
$match[$i] = $match;
echo "text" . $text . " found in URL: " . $url . ": " . $match .;
} else {
$match[$i] = $match;
echo "text" . $text . " not found in URL: " . $url . ": no match";
}
}
Мне было интересно, смогу ли я использовать специальную настройку cURL, которая делает его быстрее (я посмотрел в руководстве по php, выбрал варианты, которые показались мне наиболее подходящими, но я мог пренебречь некоторыми, которые могли бы увеличить скорость и производительность скрипта).
Тогда мне было интересно, может ли использование cgi, Perl или python (или другого решения) быть быстрее, чем php.
Заранее благодарю за любую помощь / совет / предложение.