selenium+python配置chrome浏览器的选项


https://sites.google.com/a/chromium.org/chromedriver/capabilities

http://www.fynas.com/ua
  • 因为移动版网站的反爬虫的能力比较弱
  • # 通过设置user-agent,用来模拟移动设备
    # 比如模拟 android QQ浏览器
    options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')
    
    # 模拟iPhone 6
    options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

    http://download.csdn.net/download/gengliang123/9944202
    如下,是一个 以 crx 为后缀的文件:
    这里写图片描述

    http://blog.csdn.net/y100100/article/details/44061469
  • 参考文章:https://www.cnblogs.com/stonewang313/p/3938488.html
  • 参考文章:http://blog.csdn.net/liaojianqiu0115/article/details/78353267
  • 首先进入C:\Users(用户)\你的电脑名称\AppData\Local\Google\Chrome\User Data\Default\Extensions,点开Extensions,里面的文件夹就是安装过的扩展,(记得先把电脑隐藏文件夹显示出来,否则找不到) 但是名字是一堆我看不懂的无序的英文字母,我的办法是一个一个点开找到对应的插件版本号,版本号在chrome Extensions选项里找然后打包你需要的插件:打开chrome的设置,在里面点开扩展程序,选中开发者模式,你安装的插件的下面会出现一个ID,这个ID对应的就是你要打包的插件,然后打包扩展程序,找到对应的文件夹(或者你也可以把这个文件夹复制到电脑任意地方)下面的版本号的文件夹,也就是ID名文件夹内部的那个文件夹,然后点击打包扩展程序,就可以了,会相应的在版本号的同一级地方出现后缀名是crx和pem的文件,这个crx的文件就是我们需要的(不过按照这种方式,在我的本地目录是找不到这样的crx文件,需要单独下载…)。准备工作完成,看代码:
  • # 第一种方式
    # chrome浏览器的扩展程序都在:C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Profile 2\Extensions\下
    chrome_options.add_argument("user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data")
    # 加载所有Chrome配置, 用Chrome地址栏输入chrome://version/,查看自己的“个人资料路径”,然后在浏览器启动时,调用这个配置文件,代码如下:
    from selenium import webdriver
    option = webdriver.ChromeOptions()
    option.add_argument('--user-data-dir=C:\Users\Administrator\AppData\Local\Google\Chrome\User Data') #设置成用户自己的数据目录
    driver = webdriver.Chrome(chrome_options=option)
    # 出现错误结果
    第一,所有浏览器窗口,包括自己打开的都会被控制住。
    第二,其他动作不起作用,而且会crash。
    Traceback (most recent call last):
      File "E:/PyCharmCode/taobaoProductSelenium/taobaoSelenium.py", line 40, in 
        # 启动浏览器,并设置好wait
      File "E:\Miniconda\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 69, in __init__
        desired_capabilities=desired_capabilities)
      File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 151, in __init__
        self.start_session(desired_capabilities, browser_profile)
      File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 240, in start_session
        response = self.execute(Command.NEW_SESSION, parameters)
      File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 308, in execute
        self.error_handler.check_response(response)
      File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 194, in check_response
        raise exception_class(message, screen, stacktrace)
    selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: crashed
      (Driver info: chromedriver=2.32.498550 (9dec58e66c31bcc53a9ce3c7226f0c1c5810906a),platform=Windows NT 6.1.7601 SP1 x86_64)

    http://blog.csdn.net/liaojianqiu0115/article/details/78353267

    5.1. chrome地址栏命令

    • 在Chrome的浏览器地址栏中输入以下命令,就会返回相应的结果。这些命令包括查看内存状态,浏览器状态,网络状态,DNS服务器状态,插件缓存等等。但是需要注意的是这些命令会不停的变动,所以不一定都是好用的。
        about:version - 显示当前版本
        about:memory - 显示本机浏览器内存使用状况
        about:plugins - 显示已安装插件
        about:histograms - 显示历史记录
        about:dns - 显示DNS状态
        about:cache - 显示缓存页面
        about:gpu -是否有硬件加速
        about:flags -开启一些插件 //使用后弹出这么些东西:“请小心,这些实验可能有风险”,不知会不会搞乱俺的配置啊!
        chrome://extensions/ - 查看已经安装的扩展

    5.2. chrome实用参数

    • 其他的一些关于Chrome的实用参数及简要的中文说明,使用方法同上4.5.4,当然也可以在shell中使用。
        –user-data-dir=”[PATH]” 指定用户文件夹User Data路径,可以把书签这样的用户数据保存在系统分区以外的分区。
        –disk-cache-dir=”[PATH]“ 指定缓存Cache路径
        –disk-cache-size= 指定Cache大小,单位Byte
        –first run 重置到初始状态,第一次运行
        –incognito 隐身模式启动
        –disable-javascript 禁用Javascript
        --omnibox-popup-count=“num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。
        --user-agent=“xxxxxxxx” 修改HTTP请求头部的Agent字符串,可以通过about:version页面查看修改效果
        --disable-plugins 禁止加载所有插件,可以增加速度。可以通过about:plugins页面查看效果
        --disable-javascript 禁用JavaScript,如果觉得速度慢在加上这个
        --disable-java 禁用java
        --start-maximized 启动就最大化
        --no-sandbox 取消沙盒模式
        --single-process 单进程运行
        --process-per-tab 每个标签使用单独进程
        --process-per-site 每个站点使用单独进程
        --in-process-plugins 插件不启用单独进程
        --disable-popup-blocking 禁用弹出拦截
        --disable-plugins 禁用插件
        --disable-images 禁用图像
        --incognito 启动进入隐身模式
        --enable-udd-profiles 启用账户切换菜单
        --proxy-pac-url 使用pac代理 [via 1/2]
        --lang=zh-CN 设置语言为简体中文
        --disk-cache-dir 自定义缓存目录
        --disk-cache-size 自定义缓存最大值(单位byte)
        --media-cache-size 自定义多媒体缓存最大值(单位byte)
        --bookmark-menu 在工具 栏增加一个书签按钮
        --enable-sync 启用书签同步
        –single-process 单进程运行Google Chrome
        –start-maximized 启动Google Chrome就最大化
        –disable-java 禁止Java
        –no-sandbox 非沙盒模式运行