Resultados de la búsqueda a petición "scrapy"
Convierta el XPath obtenido del navegador a XPath utilizable para Scrapy
Este es un problema que siempre tengo para obtener un XPath específico con mi navegador. Suponga que quiero extraer todas las imágenes de algunos sitios web como Google Image Search o Pinterest. Cuando usoInspect element luego usacopy XPath ...
Python convierte caracteres chinos en url
Tengo una URL como href = "../ job / jobarea.asp? C_jobtype = 經營 管理 主管 & peoplenumber = 151", Esto se muestra en el elemento de inspección. Pero cuando se abre en una pestaña nueva, se muestra ...
Escribir un programa para raspar foros
Necesito escribir un programa para raspar foros. ¿Debo escribir el programa en Python usando el framework Scrapy o debo usar Php cURL? ¿También hay un Php equivalente a Scrapy? Gracias
Scrapy: cómo administrar cookies / sesiones
Estoy un poco confundido sobre cómo funcionan las cookies con Scrapy y cómo administras esas cookies. Esta es básicamente una versión simplificada de lo que estoy tratando de hacer: La forma en que funciona el sitio web:Cuando visita el sitio ...
Usar loginform con scrapy
El marco fragmentario (https://github.com/scrapy/scrapy [https://github.com/scrapy/scrapy]) proporciona una biblioteca para usar al iniciar sesión en sitios web que requieren autenticación, https://github.com/scrapy/loginform ...
Canalización irregular para exportar archivos csv en el formato correcto
Hice la mejora de acuerdo con la sugerencia de alexce a continuación. Lo que necesito es como la imagen de abajo. Sin embargo, cada fila / línea debe ser una revisión: con fecha, calificación, texto de revisión y enlace. Necesito dejar que el ...
¿Cómo evitar un error twisted.internet.error.ConnectionLost al usar Scrapy?
Estoy raspando algunas páginas conscrapy [http://scrapy.org/]y obtiene el siguiente error: twisted.internet.error.ConnectionLost Mi línea de comando de salida: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opened 2015-05-04 ...
¿Cómo usar selenio junto con scrapy para automatizar el proceso?
Llegué a saber en un momento que necesitas usar webtoolkits como el selenio para automatizar el raspado. ¡Cómo podré hacer clic en el botón Siguiente en Google Play Store para raspar las reseñas solo para mi propósito universitario! import ...
El objeto 'NoneType' no tiene el atributo '_app_data' en scrapy \ twisted \ openssl
Durante el proceso de raspado usando un mensaje de error, aparece un error en mis registros de vez en cuando. No parece estar en ninguna parte de mi código, y parece que está dentro de twisted \ openssl. ¿Alguna idea de qué causó esto y cómo ...
Raspado de contenido dinámico usando python-Scrapy
Descargo de responsabilidad: he visto muchas otras publicaciones similares en StackOverflow e intenté hacerlo de la misma manera, pero parece que no funcionan en este sitio web. Estoy usando Python-Scrapy para obtener datos de koovs.com. Sin ...