Eu tenho um rastreador que rastreia alguns domínios diferentes para novas postagens / conteúdo. A quantidade total de conteúdo é de centenas de milhares de páginas e há muitos conteúdos novos adicionados a cada dia. Para poder rastrear todo esse conteúdo, preciso que meu rastreador esteja rastreado 24 horas por dia, 7 dias por semana.

Atualmente, eu hospedo o script do rastreador no mesmo servidor que o site ao qual o rastreador está adicionando o conteúdo, e só consigo executar um cronjob para executar o script durante a noite, porque quando o faço, o site basicamente pára de funcionar porque o carga do script. Em outras palavras, uma solução bastante ruim.

Então, basicamente, eu me pergunto qual é a minha melhor opção para esse tipo de solução?

É possível continuar executando o rastreador a partir do mesmo host, mas equilibrando de alguma forma a carga para que o script não mate o site?

Que tipo de host / servidor eu procuraria para hospedar um rastreador? Preciso de outras especificações além de um host normal?

O rastreador salva as imagens que rastreia. Se eu hospedar meu rastreador em um servidor secundário, como salvar minhas imagens no servidor do meu site? Acho que não quero o CHMOD 777 na minha pasta de uploads e deixo que qualquer pessoa coloque arquivos no meu servidor.