Selenium绕过爬虫检测(终极方案)

Selenium绕过爬虫检测(终极方案)

码农世界 2024-05-17 后端 62 次浏览 0个评论

众所周知,Selenium是一个用于自动化Web应用程序测试的工具,通过控制浏览器执行这些脚本来模拟用户的操作。但是,太容易被检测!通过Selenium启动的浏览器,有很多的特征能够被检测出来,进而触发验证码、滑块等。

网上有很多的防检测方法,大都是掩耳盗铃,对于一些网站来说没什么效果。只要使用Selenium启动浏览器,必定会被检测到。

通过访问 sannysoft 可以看到,使用Selenium启动的网站,不管用了什么防检测,都会被检测出来。

Selenium绕过爬虫检测(终极方案)

既然使用Selenium启动浏览器就会被检测到,那该如何绕过检测?

没错,那就是不用Selenium启动。我们可以通过手动启动浏览器,并用Selenium连接此浏览器,达到完美的防检测。但是我们既然用Selenium,肯定是为了自动化,不可能每次都先手动打开浏览器。

我们可以使用subprocess 来启动浏览器,再用Selenium连接,来完成这一流程。

话不多说,直接进入正题:

(此次需要用到的插件,没有安装的小伙伴可以自行安装一下)

browser_path = "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
subprocess.Popen([browser_path,'--remote-debugging-port=9222'])

使用subprocess命令行打开浏览器,并且添加参数,给此次启动的浏览器添加一个9222的端口。browser_path 的值是你电脑里谷歌浏览器的路径,windows一般是这个。

options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
driver = webdriver.Chrome(executable_path='C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe', options=options)
driver.get('https://bot.sannysoft.com/')

然后通过Selenium的设置浏览器选项,通过上面的端口,连接上浏览器。executtable_path的路径和上面一样。

最后直接访问地址,可以看到,我们这个完全和手动打开的浏览器一模一样,成功的绕过了所有检测。

Selenium绕过爬虫检测(终极方案)

最后,贴上完整代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import subprocess
import time
browser_path = "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
subprocess.Popen([browser_path,'--remote-debugging-port=9222'])
time.sleep(3)
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
driver = webdriver.Chrome(executable_path='C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe', options=options)
driver.get('https://bot.sannysoft.com/')

大功告成!

转载请注明来自码农世界,本文标题:《Selenium绕过爬虫检测(终极方案)》

百度分享代码,如果开启HTTPS请参考李洋个人博客
每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,62人围观)参与讨论

还没有评论,来说两句吧...

Top