Minha primeira vez postando. Eu estou usando BeautifulSoup 4 e python 2.7 (pycharm). Eu tenho uma página da Web que contém elementos e preciso extrair elementos específicos nos quais as tags são 'Salário:' ou 'Data:', a página contém várias listas.

O problema: não consigo identificar e extrair texto específico. Eu pesquisei neste site e tentei sem sucesso.

Exemplo html:

<dl><dt>Date:</dt><dd>13 September 2015</dd><dt>Salary:</dt><dd>Starting at £40,130 per annum.</dd></dl><dl><dt>Date:</dt><dd>15 December 2015</dd><dt>Salary:</dt><dd>Starting at £22,460 per annum.</dd></dl><dl><dt>Date:</dt><dd>10 January 2014</dd><dt>Salary:</dt><dd>Starting at £18,160 per annum.</dd></dl>

Código que tentei sem sucesso:

r = requests.get("http://www.mywebsite.com/test.html")
soup = BeautifulSoup(r.content, "html.parser")
dl_data = soup.find_all("dl")
for dlitem in dl_data: 
    print dlitem.find("dt",text="Date:").parent.findNext("dd").contents[0]
    print dlitem.find("dt",text="Salary:").parent.findNext("dd").contents[0]

Resultado esperado:

13 September 2015
15 December 2015
10 January 2014
Starting at £40,130 per annum.
Starting at £22,460 per annum.
Starting at £18,160 per annum.

Resultado atual:

print dlitem.find("dt",text="Date:").parent.findNext("dd").contents[0]
AttributeError: 'NoneType' object has no attribute 'parent'

Eu tentei inúmeras variações desse código e circulei em círculos, descobri como imprimir todos os elementos dd na tela, apenas elementos dd não específicos!

obrigado