Esta é uma pergunta que surge de pergunta de outro usuário. Se você olhar para a minha resposta lá, você terá algum contexto para esta pergunta. O URL da página da web que eu vou éhttps: //hotels.ctrip.com/hotel/347422.html? isFull = F # ctm_ref = hod_sr_lst_dl_n_1_8 se você quiser conferir por si mesm

Considere o script python selenium encontrado na parte inferior da pergunta. Nada acontece quando o selênio tenta clicar neste elemento:

browser.find_element_by_xpath('//*[@id="cPageBtn"]').click()

A mesma coisa com este elemento

browser.find_element_by_xpath('//*[@id="appd_wrap_close"]').click()

Ao depurar meu script de selênio para cada elemento, confirmei que o selênio pode encontrar o elemento muito bem; não está oculto, dentro de um iFrame, desabilitado ou qualquer outra esquisitice que eu normalmente verifico quanto a ações de selênio com falh

No entanto, ele tem um evento de clique com o mouse que chama um arquivo JavaScript interessante, e eu consegui acessá-lo navegando para o URL mostrado aqui:

Passar o mouse sobre o URL revelou que éhttps: //webresource.c-ctrip.com/ResUnionOnline/R3/float/floating_normal.min.js? 20190306: 2.

No começo do arquivo eu encontrei

document.getElementById("ab_testing_tracker") && "abTestValue_Value" != h ? 
document.getElementById("ab_testing_tracker").value

Para pesquisar (via seletor CSS no console do desenvolvedor) o HTML da página da web para um elemento com um ID de"ab_testing_tracker" e estou menos do que surpreso por não retornar nada. Depois, desminifiquei e procurei no arquivo todas as instâncias de "ab_testing_tracker". Isso me levou a este elemento:

document.getElementsByTagName("body")[0].insertAdjacentHTML("afterBegin","<input type='hidden' name='ab_testing_tracker' id='ab_testing_tracker' value='"+h.split("|")[1]+"'>")

Bem, parece que existe um nó de entrada oculto inserido nobody do documento para fins de rastreamento de automação. A pesquisa do Google revelou que o rastreamento de automação geralmente é realizado observando onavigator.userAgent e localizando userAgents que indicam automação. Mas o script usa sempre um userAgent legítimo aleatório, então eu não acho que o userAgent seja como a detecção está encontrando selênio.

esumo e possíveis soluções alternativ

@Selenium não pode clicar em certos elementos da página da Web provavelmente devido a testes de rastreamento pelo site. Pensei em algumas coisas para contornar isso: talvez eu possa desativar os eventos de clique ao usar selênio? Isso eu não sei como fazer e não consegui encontrar uma maneira depois de pesquisar online. Em seguida, tentei clicar nele com um executor Javascript, mas isso não funciono

lguém conhece uma maneira de contornar o rastreador de teste e clicar no elemento desejad

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By

# url
url = "https://hotels.ctrip.com/hotel/347422.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_8"

# User Agent
User_Agent_List = ["Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2",
                   "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
                   "Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)",
                   "Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11",
                   "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2",
                   "Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1",
                   "Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25"]

# Define the related lists
Score = []
Travel_Types = []
Room_Types = []
Travel_Dates = []
Comments = []

DEFINE_PAGE = 10

def next_page():

    current_page = int(browser.find_element_by_css_selector('a.current').text)

    # First, clear the input box
    browser.find_element_by_id("cPageNum").clear()
    print('Clear the input page')

    # Second, input the next page
    nextPage = current_page + 1
    print('Next page ',nextPage)
    browser.find_element_by_id("cPageNum").send_keys(nextPage)

    # Third, press the goto button
    browser.find_element_by_xpath('//*[@id="cPageBtn"]').click()



def scrap_comments():
    """
    It is a function to scrap User comments, Score, Room types, Dates.
    """
    html = browser.page_source
    soup = BeautifulSoup(html, "lxml")
    scores_total = soup.find_all('span', attrs={"class":"n"})
    # We only want [0], [2], [4], ...
    travel_types = soup.find_all('span', attrs={"class":"type"})
    room_types = soup.find_all('a', attrs={"class":"room J_baseroom_link room_link"})
    travel_dates = soup.find_all('span', attrs={"class":"date"})
    comments = soup.find_all('div', attrs={"class":"J_commentDetail"})
    # Save score in the Score list
    for i in range(2,len(scores_total),2):
        Score.append(scores_total[i].string)
    Travel_Types.append(item.text for item in travel_types)
    Room_Types.append(item.text for item in room_types)
    Travel_Dates.append(item.text for item in travel_dates)
    Comments.append(item.text.replace('\n','') for item in comments)

if __name__ == '__main__':

    # Random choose a user-agent
    user_agent = random.choice(User_Agent_List)
    print('User-Agent: ', user_agent)

    # Browser options setting
    options = Options()
    options.add_argument(user_agent)
    options.add_argument("disable-infobars")

    # Open a Firefox browser
    browser = webdriver.Firefox(options=options)
    browser.get(url)


    browser.find_element_by_xpath('//*[@id="appd_wrap_close"]').click()

    page = 1    
    while page <= DEFINE_PAGE:
        scrap_comments()
        next_page()

    browser.close()