Могу ли я использовать WGET для создания карты сайта с учетом его URL?
Мне нужен скрипт, который может сделать паук на сайте и вернуть список всех просканированных страниц в текстовом или аналогичном формате; который я представлю поисковым системам как карту сайта. Могу ли я использовать WGET для создания карты сайта? Или есть сценарий PHP, который может сделать то же самое?