cURL Mult Simultaneous Requests (kontrola domeny)
Próbuję pobrać listę 20 000 + nazw domen i sprawdzić, czy są „żywe”. Potrzebuję tylko prostego sprawdzenia kodu http, ale nie wiem, jak to zrobić z curl_multi. W osobnym skrypcie używam następującej funkcji, która jednocześnie sprawdza partię 1000 domen i zwraca kod odpowiedzi json. Może można to zmodyfikować, aby uzyskać kod odpowiedzi http zamiast zawartości strony?
(Przykro mi z powodu składni, nie mogłem zmusić go do wklejenia jako ładnego bloku kodu bez przechodzenia wiersz po wierszu i dodawania 4 spacji ... (próbowałem także pominąć linię i dodać 8 spacji)
$ dotNetRequests = tablica domen ...
//loop through arrays
foreach(array_chunk($dotNetRequests, 1000) as $Netrequests) {
$results = checkDomains($Netrequests);
$NetcurlRequest = array_merge($NetcurlRequest, $results);
}
function checkDomains($data) {
// array of curl handles
$curly = array();
// data to be returned
$result = array();
// multi handle
$mh = curl_multi_init();
// loop through $data and create curl handles
// then add them to the multi-handle
foreach ($data as $id => $d) {
$curly[$id] = curl_init();
$url = (is_array($d) && !empty($d['url'])) ? $d['url'] : $d;
curl_setopt($curly[$id], CURLOPT_URL, $url);
curl_setopt($curly[$id], CURLOPT_HEADER, 0);
curl_setopt($curly[$id], CURLOPT_RETURNTRANSFER, 1);
// post?
if (is_array($d)) {
if (!empty($d['post'])) {
curl_setopt($curly[$id], CURLOPT_POST, 1);
curl_setopt($curly[$id], CURLOPT_POSTFIELDS, $d['post']);
}
}
curl_multi_add_handle($mh, $curly[$id]);
}
// execute the handles
$running = null;
do {
curl_multi_exec($mh, $running);
} while($running > 0);
// get content and remove handles
foreach($curly as $id => $c) {
// $result[$id] = curl_multi_getcontent($c);
// if($result[$id]) {
if (curl_multi_getcontent($c)){
//echo "yes";
$netName = $data[$id];
$dName = str_replace(".net", ".com", $netName);
$query = "Update table1 SET dotnet = '1' WHERE Domain = '$dName'";
mysql_query($query);
}
curl_multi_remove_handle($mh, $c);
}
// all done
curl_multi_close($mh);
return $result;
}