У меня есть сканер, который сканирует несколько разных доменов для новых сообщений / контента. Общий объем контента составляет сотни тысяч страниц, и каждый день добавляется много нового контента. Поэтому, чтобы иметь возможность сканировать весь этот контент, мне нужно, чтобы мой сканер сканировал 24/7.

В настоящее время я размещаю скрипт сканирования на том же сервере, что и сайт, на который сканер добавляет контент, и я могу запустить только cronjob для запуска скрипта в ночное время, потому что когда я это делаю, веб-сайт в основном перестает работать, потому что загрузка скрипта. Другими словами, довольно дурацкое решение.

Так что в основном мне интересно, что мой лучший вариант для такого решения?

Можно ли продолжать запускать сканер с того же хоста, но каким-то образом балансировать нагрузку, чтобы скрипт не убивал веб-сайт?

Какой тип хоста / сервера я бы искал для размещения сканера? Есть ли какие-то другие спецификации, которые мне нужны, кроме обычного веб-хостинга?

Сканер сохраняет изображения, которые он сканирует. Если я размещаю свой сканер на дополнительном сервере, как мне сохранить изображения на сервере моего сайта? Я предполагаю, что я не хочу, чтобы CHMOD 777 был в моей папке загрузки и позволял кому-либо помещать файлы на мой сервер.