Распределенный веб-обход с использованием Apache Spark - возможно ли это?
Интересный вопрос был задан мне, когда я посетил одно интервью, касающееся веб-майнинга. Вопрос был в том, возможно ли сканировать сайты с помощью Apache Spark?
Я догадался, что это возможно, потому что он поддерживает распределенную вычислительную мощность Spark. После интервью я искал это, но не смог найти интересного ответа. Это возможно с Spark?