Estoy tratando de poner una lista de posibles soluciones para trajes de prueba automáticos de navegador y plataformas de navegador sin cabeza capaces de raspar.

EXAMINADOR DE PRUEBAS / RASTRES:

Selenio - polígloto insignia en la automatización del navegador, enlaces para Python, Ruby, JavaScript, C #, Haskell y más, IDE para Firefox (como una extensión) para una implementación de prueba más rápida. Puede actuar como un servidor y tiene un montón de características.

JAVASCRIPT

PhantomJS - JavaScript, pruebas sin cabeza con captura de pantalla y automatización, usosWebkit. A partir de la versión 1.8, la API de WebDriver de Selenium está implementada, por lo que puede usar cualquier enlace de WebDriver y las pruebas serán compatibles con SeleniumSlimerJS - Similar a PhantomJS, utilizaGeco (Firefox) en lugar deWebKitCasperJS - JavaScript, construido tanto en PhantomJS como en SlimerJS, tiene características adicionalesConductor fantasma - JavaScript implementacion deWebDriver Wire Protocol paraPhantomJS.nuevo PhantomCSS - Pruebas de regresión CSS. Un módulo CasperJS para automatizar las pruebas de regresión visual con PhantomJS yAsemejarse.js.nuevo WebdriverCSS - plugin paraWebdriver.io para automatizar las pruebas de regresión visualnuevo PhantomFlow - Describir y visualizar flujos de usuarios a través de pruebas. Un enfoque experimental para la prueba de interfaz de usuario web.nuevo trifleJS : conecta la API de PhantomJS para utilizar el motor de Internet Explorer.nuevo CasperJS IDE (comercial)

NODO.JS

Nodo-fantasma - cierra la brecha entrePhantomJS ynode.jsWebDriverJs - Enlaces Selenium WebDriver para node.js por Selenium TeamWD.js - módulo de nodo para WebDriver / Selenium 2yiewd - WD.js wrapper usando los últimos generadores Harmony! Deshazte de la pirámide de devolución de llamada conrendimientoZombieJs - Pruebas de apilamiento completo sin cabeza increíblemente rápido usandonode.jsNightwatchJs - Solución de prueba basada en el nodo JS utilizando Selenium WebdriverQuimera - Quimera: puede hacer todo lo que hace phantomJS, pero en un entorno JS completoDalek.js - Pruebas automatizadas en varios navegadores con JavaScript a través de Selenium WebdriverWebdriver.io - Mejor implementación de los enlaces de WebDriver con más de 50 acciones predefinidas.Pesadilla - Puente electrónico con una API de alto nivel.jsdom - Adaptado a raspado web. Un DOM muy ligero implementado en Node.js, soporta páginas con javascript.

Web scraping / minería

Scrapy - Pitón, principalmente un raspador / minero: rápido, bien documentado y se puede vincular conDjango Dynamic Scraper para implementaciones mineras agradables, oNube Scrapy para la implementación de PaaS (sin servidor), funciona en una terminal o en un proceso independiente del servidor, se puede utilizar conApio, construido encima deRetorcidoCaracol - node.js módulo, sin probar aún.Nodo-rastreador - node.js módulo, sin probar aún.

Herramientas en linea

nuevo Cliente HTTP en línea - SO dedicado respuestamuerto CasperBox - CorrerCasperJS guiones en línea

ENLACES RELACIONADOS Y RECURSOS

Comparsion de software de webscrapingnuevo Asemejarse.js : Análisis y comparación de imágenes.

Preguntas:

¿Alguna solución de Node.js pura o Nodejs a PhanthomJS / CasperJS que realmente funcione y esté documentada?

Responder: La quimera parece ir en esa dirección, pago y envío.Quimera

¿Otras soluciones capaces de inyectar JavaScript más fácilmente que Selenium?

¿Conoces algún puro?rubí soluciones?

Responder: Revisa la lista creada por rjk con soluciones basadas en ruby

¿Conoces alguna tecnología o solución relacionada?

¡Siéntase libre de editar esta pregunta y agregar contenido como desee! ¡Gracias por sus aportaciones!