Crawler script php
Tomé un script aquí para rastrear un sitio web, lo puse en mi servidor y funciona. El único problema es que si trato de rastrear establecer la profundidad por encima de 4, no funciona. Me pregunto si se debe a la falta de recursos de los servidores o al código en sí mismo.
<?php
error_reporting(E_ALL);
function crawl_page($url, $depth)
{
static $seen = array();
if (isset($seen[$url]) || $depth === 0) {
return;
}
$seen[$url] = true;
$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile($url);
$anchors = $dom->getElementsByTagName('a');
foreach ($anchors as $element) {
$href = $element->getAttribute('href');
if (0 !== strpos($href, 'http')) {
$href = rtrim($url, '/') . '/' . ltrim($href, '/');
}
crawl_page($href, $depth - 1);
}
echo "URL:",$url,PHP_EOL;
echo "<br/>";
}
crawl_page("http://www.mangastream.com/", 2);
?>
EDITAR
Encendí el informe de errores para el script y todo lo que obtengo es este
Error 324 (net :: ERR_EMPTY_RESPONSE): error desconocido.