Sites dinâmicos assustadores do Python

Estou tentando raspar uma página da Web muito simples com a ajuda do Scrapy e seus seletores de xpath, mas por alguma razão os seletores que eu tenho não funcionam no Scrapy, mas eles funcionam em outros utilitários do xpath

Estou tentando analisar este trecho de html:

<select id="chapterMenu" name="chapterMenu">

<option value="/111-3640-1/20th-century-boys/chapter-1.html" selected="selected">Chapter 1: Friend</option>

<option value="/111-3641-1/20th-century-boys/chapter-2.html">Chapter 2: Karaoke</option>

<option value="/111-3642-1/20th-century-boys/chapter-3.html">Chapter 3: The Boy Who Bought a Guitar</option>

<option value="/111-3643-1/20th-century-boys/chapter-4.html">Chapter 4: Snot Towel</option>

<option value="/111-3644-1/20th-century-boys/chapter-5.html">Chapter 5: Night of the Science Room</option>

</select>

Código parse_item scrapy:

def parse_item(self, response):
    itemLoader = XPathItemLoader(item=MangaItem(), response=response)
    itemLoader.add_xpath('chapter', '//select[@id="chapterMenu"]/option[@selected="selected"]/text()')
    return itemLoader.load_item()

O Scrapy não extrai nenhum texto disso, mas se eu obtiver o mesmo snippet xpath e html e executá-loaqui funciona muito bem.

se eu usar esse xpath:

//select[@id="chapterMenu"]

Eu recebo o elemento correto, mas quando tento acessar as opções dentro dele, ele não recebe nada

questionAnswers(2)

yourAnswerToTheQuestion