Skrobanie stron internetowych / narzędzi dostępnych w Ruby [zamknięte]
Próbuję zeskrobać strony internetowe w skrypcie Ruby, nad którym pracuję. Celem projektu jest pokazanie, które fundusze ETF i fundusze inwestycyjne są najbardziej zgodne z filozofią inwestowania w wartości.
Oto kilka przykładów stron, które chciałbym zeskrobać:
http://finance.yahoo.com/q/pr?s=SPY+Profile
http://finance.yahoo.com/q/hl?s=SPY+Holdings
http://www.marketwatch.com/tools/mutual-fund/list/V
Jakie narzędzia do skrobania stron internetowych polecasz dla Ruby i dlaczego? Pamiętaj, że istnieją tysiące funduszy akcji, więc każde narzędzie, z którego korzystam, musi być dość szybkie.
Jestem nowym użytkownikiem Ruby, ale mam doświadczenie w używaniu lxml do zeskrobywania stron internetowych w Pythonie (https://github.com/jhsu802701/dopplervalueinvesting/blob/master/screen.py). Po pobraniu stron na 5000+ zasobów lxml może zeskrobać je w ciągu kilku minut. (Pamiętam, że próbowałem BeautifulSoup, ale odrzuciłem go, ponieważ był zbyt wolny).