Estou tentando obter números de download precisos para alguns arquivos em um servidor da web. Eu olho para os agentes do usuário e alguns são claramente bots ou rastreadores da web, mas muitos para muitos não tenho certeza, eles podem ou não ser um rastreador da web e eles estão causando muitos downloads, por isso é importante para mim saber.

Existe algum lugar em uma lista de rastreadores da Web conhecidos com alguma documentação como agente do usuário, IPs, comportamento etc.?

Não estou interessado nos oficiais, como os do Google, do Yahoo ou da Microsoft. Essas são geralmente bem comportadas e auto-identificadas.