Ich versuche Webseiten in einem Ruby-Skript zu scrappen, an dem ich arbeite. Ziel des Projekts ist es, aufzuzeigen, welche ETFs und Investmentfonds am besten mit der Value-Investment-Philosophie vereinbar sind.

Einige Beispiele für Seiten, die ich abkratzen möchte, sind:

http://finance.yahoo.com/q/pr?s=SPY+Profile
http://finance.yahoo.com/q/hl?s=SPY+Holdings
http://www.marketwatch.com/tools/mutual-fund/list/V

Welche Web-Scraping-Tools empfehlen Sie für Ruby und warum? Denken Sie daran, dass es Tausende von Aktienfonds gibt, also muss jedes Tool, das ich verwende, relativ schnell sein.

Ich bin neu in Ruby, aber ich habe Erfahrung mit lxml, um Webseiten in Python zu kratzen (https://github.com/jhsu802701/dopplervalueinvesting/blob/master/screen.py). Sobald die Seiten mit mehr als 5000 Aktien heruntergeladen sind, kann lxml sie alle in nur wenigen Minuten entfernen. (Ich erinnere mich, wie ich BeautifulSoup ausprobiert habe, es aber abgelehnt habe, weil es zu langsam war.)