python SSL: CERTIFICATE_VERIFY_FAILED certificate has expired 证书错误的几种情况和解决方法

一、哪些情况可能会遇到这个错误？
二、为什么会出现这个错误？这个错误说明了什么？
- 2.2 客户端是如何验证服务器证书的呢？
  - 2.2.1 常见的证书错误有：
三、哪些原因可能会导致证书错误？
- 3.1 证书无效报错
  - 3.1.1 网站使用自签发证书
  - 3.1.2 证书和域名不匹配
- 3.2 证书有效报错
  - 3.2.1 本地计算机缺少合适的根证书
  - 3.2.2 本地计算机根证书过期未更新
  - 3.2.3 证书链不完整
  - 3.2.4 MacOS上python3没有证书列表
  - 3.2.5 解析证书的客户端软件问题
四、如何解决证书错误？
- 4.1 证书无效，替换有效证书
- 4.2 证书有效报证书验证错误的几种解决方案【重要】
  - 4.2.1 MAC OS安装python根CA证书列表
  - 4.2.2 补全证书链
  - 4.2.3 更新操作系统根证书库
  - 4.2.4 手动将证书添加到根CA证书列表【推荐】
  - 4.2.5 手动指定根证书文件【推荐】
  - 4.2.6 从其他证书提供机构重新申请证书
- 4.3 屏蔽证书验证【不推荐】
五、常见错误情况如何解决？
- 5.1 使用urllib或requests类库，可以修改代码
  - 5.2 pip install安装软件时
- 5.3 setup.py upload上传软件包时
- 5.4 其他错误如何解决
六、更多问题

一、哪些情况可能会遇到这个错误？

使用urllib.request.urlopen请求https资源时（不限系统）
使用requests的get或post方法请求https资源时（不限系统）
MAC OS中使用上面任意库请求https资源时
使用pip install安装软件包时
使用setup.py upload 上传软件包到仓库时
使用其他python脚本或命令，内部使用了情况1或情况2的相关接口，访问https资源时。
使用Python类库请求一些https网站正常，请求另外一些https网站遇到这个错误

二、为什么会出现这个错误？这个错误说明了什么？

要想知道这个错误为什么会出现，是什么导致了这个错误，需要简单了解下SSL和证书的相关知识：

2.1 HTTPS的简要知识

在HTTPS普及之前，大多数网站都使用明文传输的HTTP协议。用户和网站的访问内容，密码等在家庭路由器、小区交换机、公网节点等都是可以被中间人看到、拦截或修改的，即主要存在泄漏、篡改、假冒三大安全问题。
为了解决上面的安全问题，就需要对传输内容进行加密，常规的加密算法包括对称加密和非对称加密，因为对称加密存在秘钥不便传输问题，HTTPS在连接的初始建立阶段使用的是非对称加密算法，加密连接创建后再切换到对称加密算法提高性能。
非对称加密的特点：

存在公钥和私钥两个秘钥，一般公钥是任何人都可以拿到的。
公钥加密的内容可以用私钥解密，反之亦然。
用公钥或私钥加密很简单，但根据密文和公钥破解私钥很难。
HTTPS协议使用的是RSA非对称加密技术。HTTPS通信流程如下：

TCP三次握手
客户端向服务器发起HTTPS请求
服务器返回数字证书
客户端用本地内置证书验证服务器证书有效性，如果证书无效中断整个流程；证书有效则生成随机值作为对称秘钥，并使用证书加密对称秘钥；
客户端把证书加密后的对称秘钥发送给服务器
服务器用私钥解密获得对称秘钥，再用对称秘钥加密内容发给客户端
客户端收到服务器对称加密的内容，可以正确解密，至此加密连接创建完成。
流程3的服务器证书里面存储的就是网站的公钥。我们遇到的错误就是发生在流程4中，验证证书无效。
更多关于HTTPS的知识

2.2 客户端是如何验证服务器证书的呢？

服务器的证书是包含了网站主要信息、公钥、数字签名等信息的一个文件。
非对称加密只是确保了网络连接的不被窃听和篡改，但包含公钥的证书是谁都可以签发的，那拿到一个百度证书如何确定这个证书就是百度的证书呢？公钥一般几百上千个字符，全球十几亿个网站证书全都记录下来也不现实，所以就提出了另一个概念：CA（Certificate Authority）证书签发机构。客户端和服务器端都信任且保存了CA的证书，作为根证书；如果一个证书是由CA签发的二级证书，那我们可以用CA的证书验证它的有效性；如果服务器的证书是由验证过的二级证书签发的，那么我们也可以验证服务器的证书的有效性；这样的一个逐层验证过程即形成了证书链。
根证书是直接保存在操作系统中的，凡是根证书直接或间接签发的证书都可以信任；按这样的原理，我们可以验证成千上万的网站证书是否有效；截止2020/08，MacOS内置了168个根证书，Windows内置了255个根证书，Chrome和FireFox使用自带的证书库。
需要注意的是，虽然操作系统内置了根证书，但一些软件可能并未使用系统根证书，而是在软件安装时自身带了一些证书作为根证书。（如pythonpython的requests库和pip等库使用包内置的根证书，有些浏览器也使用的内置根证书而非系统根证书），如果电脑装有everything，搜索cacert.pem可以发现很多文件，这些都是各个软件自带的根证书。
此外，证书链可能不止一条！计算机本地保存的根证书一般是几十年有效期，由根证书颁发的二级证书一般是几年有效期。如果你的电脑买了有两三年了，有可能出现买的时候根证书还有效，现在根证书过期的情况，从而导致一些网站无法访问。从浏览器访问网站是按浏览器的根证书库形成证书链，浏览器的根证书库由浏览器维护和更新，所以一直显示是正常的。而windows操作系统根证书库由windows更新维护，python ssl使用的是操作系统的根证书库，所以也可能出现浏览器中证书正常，python中报证书过期或无效问题。（PS：Windows10家庭版似乎没有根证书自动更新。。）
虽然服务器部署证书的时候，一般都是部署的完整证书链，但客户端不一定会使用网站提供的证书链；如果服务器证书链的根证书在客户端本地根证书库中不存在，客户端就会从本地根证书库中尝试自己构造一个可信的证书链，构造过程中可能会使用过期的证书。
这是一个中间证书过期的例子

2.2.1 常见的证书错误有：

证书不可信（ERR_CERT_AUTHORITY_INVALID）【最多】
由不可信的CA机构签发的证书，比如自签发的证书，或者操作系统缺失CA根证书。
证书名称不匹配（ERR_CERT_COMMON_NAME_INVALID）
证书是签发给www.baidu.com，但访问的网站是baidu.com，也会出现这个问题。
证书过期（ERR_CERT_DATE_INVALID）
证书有效期到期，或本地时间不正确（根据行业标准，网站SSL证书有效期不能超过398天）
证书被吊销（ERR_CERT_REVOKED）
虚假信息申请得到的证书，或私钥被泄漏，或签发错误等会出现这个情况
一般性SSL错误（ERR_SSL_PROTOCOL_ERROR）
证书部署错误，客户端SSL协议不匹配，证书字段缺失等问题。

三、哪些原因可能会导致证书错误？

根据上面分析，造成证书错误的原因有很多，但笼统的可以分为两类：证书无效报错，证书有效报错。
判断网站证书是否有效建议通过myssl.com，输入网站域名，可以测试出网站安全等级、支持的TLS版本、证书问题、支持浏览器版本等情况。

3.1 证书无效报错

3.1.1 网站使用自签发证书

自签名的证书因为不是由根证书逐层签发的，所以任意一台电脑访问这种网站时都会弹出连接不安全的警告。
现象：这个网站在任意一台电脑访问都会报证书错误。

3.1.2 证书和域名不匹配

证书分为单域名证书和通配符证书；单域名证书需要和网站域名完全匹配才能验证通过，比如申请了www.baidu.com的单域名证书，部署在news.baidu.com上面就会出现证书名称不匹配错误。通配符证书一般是针对主域名申请，如“*.baidu.com”，可以部署在其下所有子域名网站上。

3.2 证书有效报错

3.2.1 本地计算机缺少合适的根证书

现象：其他电脑访问此网站证书有效，此电脑报证书错误。（或通过myssl.com验证网站证书有效）

3.2.2 本地计算机根证书过期未更新

现象：新电脑执行python脚本或命令正常，此电脑浏览器访问证书有效，python脚本显示证书无效。
针对Python ssl的进一步排查方法：

查看当前python使用的openssl版本：

>>> import _ssl
>>> _ssl.OPENSSL_VERSION
'OpenSSL 1.1.1g  21 Apr 2020'

找到对应Openssl程序
可通过everything搜索，按时间找到：
命令提示符打开，请求出错的URL，查看证书链：

openssl s_client -showcerts -connect www.baidu.com:443

从显示的证书链来看，第二个证书R3是let's encrypt的根证书，第一个DSR Root证书确实于2021年9月到期了，过期了两个月。
而浏览器查看网站的证书链，第一个证书的有效期是从2015年到2035年：

3.2.3 证书链不完整

现象：myssl.com验证网站证书有效（提示证书链不完整），此电脑浏览器访问网站证书有效，部分软件请求网站证书错误。

3.2.4 MacOS上python3没有证书列表

现象：python脚本访问任何https网站均报证书错误。

3.2.5 解析证书的客户端软件问题

现象：通过myssl.com验证网站证书有效，此电脑浏览器访问网站证书有效，但python urlopen或requests访问网站证书错误。

四、如何解决证书错误？

4.1 证书无效，替换有效证书

如果是自签名证书或证书过期等情况，建议申请个有效的证书部署。
收费证书很多，可以找权威机构购买；免费证书可以考虑：

申请let's encrypt的三个月通配符证书；到期前需要重新申请并部署。
阿里云的一年SSL单域名证书，一年最多申请20个；过期前需要重新申请部署。

4.2 证书有效报证书验证错误的几种解决方案【重要】

4.2.1 MAC OS安装python根CA证书列表

仅针对苹果系统有效。

pip install --upgrade certifi

然后执行文件：/Applications/Python\ 3.6/Install\ Certificates.command

4.2.2 补全证书链

上面我们提到，网站的证书是否有效是通过操作系统根证书逐层验证的，如果系统缺失了对应的根证书，就可能会出现网站在一些浏览器访问正常，在其他客户端（python脚本、微信浏览器等）报证书错误的现象。
如果myssl.com提示证书错误，可以按上面的修复工具连接，修复证书链不全问题。
证书链修复传送门
一般修复前证书链有2个或三个证书，修复后会多一个；直接将修复后的证书链重新部署到服务器即可。

4.2.3 更新操作系统根证书库

此方法可以解决部分证书错误，一些软件包未使用系统根证书导致的错误仍然无法解决。

生成更新根证书列表文件：

D:/
certutil.exe -generateSSTFromWU roots.sst

从SST文件导入所有根证书，注意以管理员身份运行Powser Shell：

$sstStore = ( Get-ChildItem -Path D:\roots.sst )
$sstStore | Import-Certificate -CertStoreLocation Cert:\LocalMachine\Root

重新进入【管理计算机证书】，查看根证书数量已从200+变成400+
更多关于更新windows证书的介绍

4.2.4 手动将证书添加到根CA证书列表【推荐】

此方法可解决几乎全部使用python ssl包导致的证书错误问题。
此方法适用于客户端较少的情况，如果很多客户端都报证书错误，建议使用下一个方案。
查看python默认使用的根证书文件：

import ssl
ssl.get_default_verify_paths()

> DefaultVerifyPaths(cafile='C:\\Program Files\\Common Files\\SSL/cert.pem', capath=None, openssl_cafile_env='SSL_CERT_FILE', openssl_cafile='C:\\Program Files\\Common Files\\SSL/cert.pem', openssl_capath_env='SSL_CERT_DIR', openssl_capath='C:\\Program Files\\Common Files\\SSL/certs')

第一个cafile即当前使用的根证书列表文件，可以去看下这个文件是否存在。我们把证书内容追加到这个文件末尾即可。

如果此文件不存在，可以使用everything搜索“cacert.pem”，找个文件作为默认根证书文件（一般最大的是比较全的），我这里是：C:\Users\lenovo\AppData\Local.certifi\cacert.pem，然后添加环境变量：SSL_CERT_FILE=新的根证书文件绝对路径。
关闭命令提示符重新打开，再执行上面命令，看到cafile变成了我们修改的值即可。

浏览器打开网站，点击地址栏的锁图标，查看证书窗口，切换到证书路径tab，点击第一个根证书，查看证书，打开新证书窗口。
然后点击详细信息，复制到文件，导出证书文件。选择Base64编码X.509格式导出即可。
找到导出的文件，复制全部内容。打开cafile路径，黏贴到最后面，保存即可。

如果添加第一个证书后依然报证书错误，可以继续添加第二个（即二级证书），第三个。我是添加第二个证书后不报错了。

4.2.5 手动指定根证书文件【推荐】

如果客户端代码可以修改，可通过指定根证书的方式验证指定网站的证书：

# urllib
import urllib
urllib.request.urlopen("https://example.com/some/info", cafile="ca.pem")

# requests
requests.get('https://www.baidu.com', cert='ca.pem')

4.2.6 从其他证书提供机构重新申请证书

证书有效，但报证书错误一般都是因为根证书或中间证书的缺失或过期。所以从其他证书机构重新申请证书的话，对应的根证书和中间证书会发生变化，自然可解决证书错误问题。
一般来说，越权威的证书机构，出现证书错误的可能性越小。

4.3 屏蔽证书验证【不推荐】

适用于：证书有效报错，证书无效报错。
既然是证书验证失败导致的错误，当然可以跳过验证环境，直接默认所有证书都有效，但这相当于恢复了HTTP，存在很大安全风险，如果可通过其他方法解决，尽量不要使用此方法。
屏蔽证书验证也可以有很多级别，操作系统全局屏蔽，本进程屏蔽，本次请求屏蔽等。
屏蔽本次请求的证书验证

# 针对urllib
import ssl
context = ssl._create_unverified_context()
urllib.urlopen('https://www.baidu.com', context=context)

# 针对python3 urllib
ctx = ssl.create_default_context()
ctx.check_hostname = False
ctx.verify_mode = ssl.CERT_NONE
urllib.urlopen('https://www.baidu.com', context=ctx)

# 针对requests
requests.get('https://www.baidu.com', verify=False)

屏蔽本进程的证书验证（一般用在进程启动时）

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

屏蔽操作系统所有python进程的证书验证（不推荐，疑似仅对python2生效）
设置环境变量：PYTHONHTTPSVERIFY=0
测试对python3.6, 3.8均不生效，疑似仅对python2生效。

五、常见错误情况如何解决？

上面提出了一些解决方法，但具体到各种场景，可能需要使用不同的方法。如果已确认证书有效，依然报证书错误，下面几种情况可以考虑用对应的方法：

5.1 使用urllib或requests类库，可以修改代码

建议使用手动指定根证书文件方法，简单快速。

5.2 pip install安装软件时

可以通过pip install --trusted-host pypi.python.org [packagename] 的方式指定为信任站点
也可能是pip版本太低，pypi.python.org不支持TLS1.0和TLS1.1协议，也可以尝试升级pip版本

5.3 setup.py upload上传软件包时

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate has expired (_ssl.c:1123)
如果部署了私有pip仓库，通过https访问，上传软件包时出现这个错误。因为内部是setuptools调用的urllib，无法修改源代码。建议使用手动将证书添加到根CA证书列表的方法。
我就是这种情况。部署的pip仓库，浏览器访问证书有效，通过let's encrypt申请的通配符证书。但使用的conda python3.8环境，上传软件包时报证书错误。测试了在python3.7 3.8 3.9 3.10中均会报错，在3.6中不报错；搜索一些文档说3.6的ssl验证会更宽松一些。
我使用urllib单独请求我的pip站点也复现了证书错误，但请求baidu.com证书没问题；通过添加ISRG ROOT X1和R3的证书到根证书文件后这个错误没有了。

5.4 其他错误如何解决

具体错误情况不同，可能的原因和解决方案也不相同，可以按是否能修改源代码等情况，逐个尝试上面的解决方法。
如果上面的方法都无法解决，建议优先搜索Stack Overflow或者google上的相关资源。
百度上的相关文章大都类似，且不够系统专业，常见问题还好，一些不常见问题很难找到解决方案。

六、更多问题

系统中过期的证书可以删除么？
永远不要删除过期证书，系统使用过期证书来保证向后兼容性，参考

参考文章：
https://stackoverflow.com/questions/27835619/urllib-and-ssl-certificate-verify-failed-error
https://xiu2.net/it/details/6137680a61da421d645b8f01
https://coderedirect.com/questions/154225/certifacte-verify-failed-certificate-has-expired-ssl-c1108
http://woshub.com/updating-trusted-root-certificates-in-windows-10/

Python SSL certificate VERIFY expired