优惠活动 - 12周年庆本月新客福利
优惠活动 - 12周年庆本月新客福利
优惠活动 - 12周年庆本月新客福利

企业网站设计使用selenium自动获取页面爬取

日期 : 2020-09-30 15:35:35
        使用selenium自动获取页面爬取
        (1)使用webdriver库,模拟人工进入网页。

        (2)依次点击正常登陆时需要点击的对话框。
        (3)elenium是在模仿人工点击页面,因此人工正常浏览网站时,该有的步骤都不能少,否则就会卡住在这步,从而导致程序异常中止。

        (4)这里通过使用webdrive库的find_element_by_xpath和find_element_by_css_selector两个用法,找到每个点击框的位置并用click()点击。
        (5)登陆账号
        由于网站需要登录才能进行详细信息的查看,因此先要进行登录操作,再进行后续的检索。同样是先使用find_element_by_css_selector用法找到登录框和输入账号密码的位置,在用send_keys用法分别输入账号和密码,最后在点击登录框中的登录。

相关文章