Como escrever um rastreador?

Eu tive pensamentos de tentar escrever um rastreador simples que pode rastrear e produzir uma lista de suas descobertas para sites e conteúdo do NPO.

Alguém tem alguma idéia sobre como fazer isso? Para onde você aponta o rastreador para começar? Como ele envia de volta suas descobertas e ainda continua rastreando? Como sabe o que encontra, etc, etc.