Ich freue mich darauf, den vollständigen Wikipedia-Text für mein College-Projekt herunterzuladen. Muss ich eine eigene Spinne schreiben, um diese herunterzuladen, oder ist ein öffentlicher Wikipedia-Datensatz online verfügbar?

Um Ihnen nur einen Überblick über mein Projekt zu geben, möchte ich die interessanten Wörter einiger Artikel herausfinden, die mich interessieren. Um diese interessanten Wörter zu finden, plane ich, tf / idf anzuwenden, um die Häufigkeit der Begriffe für jedes Wort und zu berechnen Wählen Sie diejenigen mit hoher Frequenz. Aber um die tf zu berechnen, muss ich die gesamten Vorkommen in Wikipedia kennen.

Wie kann das gemacht werden?