Ich versuche, eine sehr einfache Webseite mit Hilfe von Scrapy und seinen xpath-Selektoren zu scrappen, aber aus irgendeinem Grund funktionieren die Selektoren, die ich habe, nicht in Scrapy, sondern in anderen xpath-Dienstprogrammen

Ich versuche, dieses HTML-Snippet zu analysieren:

<select id="chapterMenu" name="chapterMenu">

<option value="/111-3640-1/20th-century-boys/chapter-1.html" selected="selected">Chapter 1: Friend</option>

<option value="/111-3641-1/20th-century-boys/chapter-2.html">Chapter 2: Karaoke</option>

<option value="/111-3642-1/20th-century-boys/chapter-3.html">Chapter 3: The Boy Who Bought a Guitar</option>

<option value="/111-3643-1/20th-century-boys/chapter-4.html">Chapter 4: Snot Towel</option>

<option value="/111-3644-1/20th-century-boys/chapter-5.html">Chapter 5: Night of the Science Room</option>

</select>

Scrapy parse_item code:

def parse_item(self, response):
    itemLoader = XPathItemLoader(item=MangaItem(), response=response)
    itemLoader.add_xpath('chapter', '//select[@id="chapterMenu"]/option[@selected="selected"]/text()')
    return itemLoader.load_item()

Scrapy extrahiert daraus keinen Text, aber wenn ich das gleiche xpath- und html-Snippet erhalte und es ausführeHier es funktioniert gut.

wenn ich diesen xpath benutze:

//select[@id="chapterMenu"]

Ich erhalte das richtige Element, aber wenn ich versuche, auf die darin enthaltenen Optionen zuzugreifen, erhalte ich nichts