這篇文章主要是闡述了selenium可視化數(shù)據(jù)抓取有效的方法實現(xiàn)，文中根據(jù)舉例編碼講到的十分詳盡，對大家學習培訓還是工作具有很強的參照學習培訓使用價值，需求的小伙伴們下邊伴隨著小編就來互相學習了解一下吧。

　　Selenium是一個自動化技術(shù)檢測工具，運用它能夠推動電腦瀏覽器實行特殊動作，如鼠標點擊、下拉框等操作，同時也可以獲取電腦瀏覽器現(xiàn)階段獲得界面的程序代碼，保證由此可見即可獲得。對于有些JavaScript動態(tài)性3D渲染的頁面來說，此種抓取方式非常有效。接下來，就讓我們來感受一下它的強大之處吧。

　　webdriver的安裝

　　????selenium安裝

　　首先，我們使用selenium進行測試，所以我們得安裝selenium庫。

　　pip install selenium

　　????驅(qū)動安裝

　　webdriver是瀏覽器對應的驅(qū)動，我們使用的的瀏覽器有三種谷歌Chrome、微軟Microsoft Edge、還有一個火狐Firefox，但是我們經(jīng)常使用谷歌Chrome瀏覽器進行測試。現(xiàn)在我們就以Chrome瀏覽器為例下載它對應的chromedriver。

　　官網(wǎng)：http://chromedriver.storage.googleapis.com/index.html

　　注意：

　　我們下載chromedriver驅(qū)動時，我們要查明瀏覽器的版本，要對應相應的版本號進行下載，否則會報錯。禁止Google瀏覽器更新服務，可以上網(wǎng)查教程。

　　????基本使用

　　????查找節(jié)點

　　Selenium可以驅(qū)動瀏覽器完成各種操作，比如填充表單、模擬點擊等。比如，我們想要完成向某個輸入框輸入文字的操作，總需要知道這個輸入框在哪里吧？而Selenium提供了一系列查找節(jié)點的方法，我們可以用這些方法來獲取想要的節(jié)點，以便下一步執(zhí)行一些動作或者提取信息。

　　獲取節(jié)點的方法：

　　find_element_by_id
　　find_element_by_name
　　find_element_by_xpath
　　find_element_by_link_text專門用來定位超鏈接文本（標簽）全匹配
　　find_element_by_partial_link_text模糊匹配
　　find_element_by_tag_name
　　find_element_by_class_name
　　find_element_by_css_selector

　　給個示例

　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://www.baidu.com')
　　input=browser.find_element_by_id('kw')
　　input.send_keys('Python')
　　browser.find_element_by_id('su').click()
　　#提取頁面
　　print(browser.page_source.encode('utf-8'))
　　#提取cookie
　　print(browser.get_cookies())
　　#提取當前請求地址
　　print(browser.current_url)
　　browser.close()

　　運行代碼后發(fā)現(xiàn)，會自動彈出一個Chrome瀏覽器。瀏覽器首先會跳轉(zhuǎn)到百度，然后在搜索框中輸入Python，接著跳轉(zhuǎn)到搜索結(jié)果頁

　　注：當我們的chromedriver驅(qū)動沒有放置到Chrome瀏覽器路徑時，我們可以使用以下來申明瀏覽器對象。

  　browser=webdriver.Chrome(executable_path="chromedriver安裝路徑")

　　方法總結(jié)：

　　brower.get(url)：跳轉(zhuǎn)當前url鏈接。

　　browser.find_element_by_id('id屬性值')：定位到id屬性值。

　　send_keys('輸入關(guān)鍵字')：定位到輸入框后輸入。

　　find_element_by_id('id屬性值').click()：定位到id屬性值后點擊。

　　browser.page_source.encode('utf-8')：獲取當前頁面的源碼。

　　browser.get_cookies()：提取cookies。

　　browser.current_url：獲取當前頁面的url。

　　brower.close()：關(guān)閉瀏覽器。

　　????執(zhí)行JavaScript

　　對于某些操作，Selenium API并沒有提供。比如，下拉進度條，它可以直接模擬運行JavaScript，此時使用execute_script()方法即可實現(xiàn)，代碼如下：

　　#document.body.scrollHeight獲取頁面高度
　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://36kr.com/')
　　#下拉邊框一次性下拉
　　browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
　　#慢慢的下拉
　　for i in range(1,9):
　　time.sleep(random.randint(100,300)/1000)
　　browser.execute_script('window.scrollTo(0,{})'.format(i*700))

　　這里就利用execute_script()方法將進度條下拉到最底部。為了模擬人為活動，我們調(diào)節(jié)了下拉的緩沖時間。

　　我們使用瀏覽器的控制臺輸入以下代碼也能運行。

　　window.scrollTo(0,document.body.scrollHeight)

　　切換Frame

　　我們知道網(wǎng)頁中有一種節(jié)點叫作iframe，也就是子Frame，相當于頁面的子頁面，它的結(jié)構(gòu)和外部網(wǎng)頁的結(jié)構(gòu)完全一致。Selenium打開頁面后，它默認是在父級Frame里面操作，而此時如果頁面中還有子Frame，它是不能獲取到子Frame里面的節(jié)點的。這時就需要使用switch_to.frame()方法來切換Frame。示例如下：

　　browser.get('https://www.douban.com/')
　　login_iframe=browser.find_element_by_xpath('//div[ class="login"]/iframe')
　　browser.switch_to.frame(login_iframe)
　　browser.find_element_by_class_name('account-tab-account').click()
　　browser.find_element_by_id('username').send_keys('123123123')

　　首先我們要定位到iframe，然后用switch_to.frame()方法來切換Frame，這時我們就可以定位到子Frame進行有關(guān)操作了。

　　????前進后退

　　平常使用瀏覽器時都有前進和后退功能，Selenium也可以完成這個操作，它使用back()方法后退，使用forward()方法前進。示例如下：

　　import time
　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://www.baidu.com/')
　　browser.get('https://www.taobao.com/')
　　browser.get('https://www.python.org/')
　　browser.back()
　　time.sleep(1)
　　browser.forward()
　　browser.close()

　　這里我們連續(xù)訪問3個頁面，然后調(diào)用back()方法回到第二個頁面，接下來再調(diào)用forward()方法又可以前進到第三個頁面。

　　????選項卡管理

　　在訪問網(wǎng)頁的時候，會開啟一個個選項卡。在Selenium中，我們也可以對選項卡進行操作。示例如下：

　　import time
　　from selenium import webdriver
　　browser=webdriver.Chrome()
　　browser.get('https://www.baidu.com')
　　browser.execute_script('window.open()')
　　print(browser.window_handles)
　　browser.switch_to_window(browser.window_handles[1])
　　browser.get('https://www.taobao.com')
　　time.sleep(1)
　　browser.switch_to_window(browser.window_handles[0])
　　browser.get('https://python.org')

　　這里我們先跳轉(zhuǎn)到百度再打開一個空白選項卡打印選項卡編號，再跳轉(zhuǎn)到第二個選項卡也就是這個空白選項卡打開淘寶，休息一秒，再跳轉(zhuǎn)到第一個選項卡打開python官網(wǎng)。

　　????配置操作

　　selenium有很多配置，下面我舉幾個常見的。

　　options=webdriver.ChromeOptions()
　　#無頭模式
　　option.add_argument("-headless")
　　#設置代理
　　options.add_argument('proxy-server='+'192.168.0.28:808')
　　#將瀏覽器最大化顯示
　　browser.maximize_window()
　　#設置寬高
　　browser.set_window_size(480,800)
　　#通過js新打開一個窗口
　　driver.execute_script('window.open("https://www.baidu.com");')
　　browser=webdriver.Chrome(chrome_options=options)
　　繞過檢測
　　繞過檢測對于一些網(wǎng)站的自動化反爬很管用。
　　#設置屏蔽
　　options=webdriver.ChromeOptions()
　　options.add_argument('--disable-blink-features=AutomationControlled')
　　browsers=webdriver.Chrome(chrome_options=options)
　　browsers.get('https://bot.sannysoft.com/')
　　網(wǎng)站：https://bot.sannysoft.com/

　　我們沒設置繞過檢測

　　我們設置了繞過檢測后

　　到此為止，小編就給大家介紹完畢了，希望可以為大家?guī)韼椭?/p>