Распределенный веб-обход с использованием Apache Spark - возможно ли это?

Интересный вопрос был задан мне, когда я посетил одно интервью, касающееся веб-майнинга. Вопрос был в том, возможно ли сканировать сайты с помощью Apache Spark?

Я догадался, что это возможно, потому что он поддерживает распределенную вычислительную мощность Spark. После интервью я искал это, но не смог найти интересного ответа. Это возможно с Spark?

Ответы на вопрос(2)

Ваш ответ на вопрос