erteiltes Webcrawlen mit Apache Spark - Ist das möglic

Eine interessante Frage, die mir gestellt wurde, als ich an einem Interview zum Thema Web Mining teilnahm. Die Frage war, ist es möglich, die Websites mit Apache Spark zu crawlen?

Ich vermutete, dass es möglich war, weil es die verteilte Verarbeitungskapazität von Spark unterstützt. Nach dem Interview habe ich danach gesucht, aber keine interessante Antwort gefunden. Ist das mit Spark möglich?