由于requests模塊是一個不完全模擬瀏覽器行為的模塊，只能爬取到網(wǎng)頁的HTML文檔信息，無法解析和執(zhí)行CSS、JavaScript代碼，因此需要我們做人為判斷;
1、什么是selenium
selenium最初是一個自動化測試工具，而爬蟲中使用它主要是為了解決requests無法執(zhí)行javaScript代碼的問題。
selenium模塊本質(zhì)是通過驅(qū)動瀏覽器，完全模擬瀏覽器的操作，比如跳轉(zhuǎn)、輸入、點擊、下拉等，來拿到網(wǎng)頁渲染之后的結(jié)果，可支持多種瀏覽器;由于selenium解析執(zhí)行了CSS、JavaScript所以相對requests它的性能是低下的;
2、selenium的用途
(1)、selenium可以驅(qū)動瀏覽器自動執(zhí)行自定義好的邏輯代碼，也就是可以通過代碼完全模擬成人類使用瀏覽器自動訪問目標站點并操作，那我們也可以拿它來做爬蟲。
(2)、selenium本質(zhì)上是通過驅(qū)動瀏覽器，完全模擬瀏覽器的操作，比如跳轉(zhuǎn)、輸入、點擊、下拉等...進而拿到網(wǎng)頁渲染之后的結(jié)果，可支持多種瀏覽器
京公網(wǎng)安備 11010802030320號