Я пытаюсь использовать команду wget:

wget -p http://www.example.com 

чтобы получить все файлы на главной странице. Для некоторых сайтов это работает, но в большинстве случаев загружается только index.html. Я пробовал команду wget -r, но она не работает. Кто-нибудь знает, как получить все файлы на странице, или просто дать мне список файлов и соответствующих URL-адресов на странице?