白话文解读HTTPS原理, 结合.NET Core聊一聊HTTPS应用方式
合格的web后端程序员,除搬砖技能,还必须会给各种web服务器配置Https,本文结合ASP.NET Core部署模型聊一聊启用Https的方式。
温故知新
目前常见的Http请求明文传输,请求可能被篡改,访问的站点可能被伪造。
HTTPS是HTTP加上TLS/SSL协议构建的可进行加密传输、身份认证的网络协议,主要通过数字证书、加密算法、非对称密钥等技术完成互联网数据传输加密,实现互联网传输安全保护。
HTTPS是应用层协议
注意,HTTPS是与DNS平级的应用层协议, 一个常见HTTPS请求的过程:
由DNS解析出IP地址-----> 浏览器向服务器ip地址发起请求----> 服务器向浏览器下发证书(该证书有公钥,并绑定了域名)-----> 浏览器验证证书---->....
HTTPS 流程解读
① 传输密钥是对称密钥,用于双方对传输数据的加解密
② 怎么在传输之前确立传输密钥呢?
答:针对普遍的多客户端访问受信web服务器的场景, 提出非对称密钥(公钥下发给客户端,私钥存于web服务器),双方能互相加解密,说明中间数据(传输密钥)没被篡改。
③ 再抛出疑问,客户端如何认定下发的公钥是目标web服务器的公钥?又如何确定公钥下发过程没被截取篡改?
答:追溯到握手阶段的证书验证过程,浏览器从证书提取(证书颁发机构,证书绑定的域名,证书签名,证书有效期),
浏览器先验证证书绑定的域名是否与目标域名匹配;浏览器内置证书颁发机构认定该证书是其有效下发;通过签名认定该证书没被篡改。
④ 所以浏览器内置的证书机构(根证书)的权威性相当重要, 浏览器中毒或劣质浏览器可能携带 非法的根证书。
如果面向面试记忆Https原理,恐怕有些难度,所以个人用一种 【鸡生蛋还是蛋生鸡】的方式向上追溯流程, 方便大家知其然更知其所以然
⑤ 是不是只有CA机构才能签发证书 ?
不是的,服务器上存储的证书和公钥,只要是匹配的就可以下发;由浏览器决定是否信任证书。
所以在测试和开发阶段,通常在服务器上申请 自签名证书,浏览器会提示你证书无效,但是你可手动忽略,或添加到信任列表。
下面演示对ASP.NET Core程序两种最常见部署模型强制应用HTTPS.
常规反向代理模型
由nginx反向代理请求到后端https://receiver.server, nginx上添加HTTPS证书, 并强制浏览器使用 HTTPS。
worker_processes 4; events { worker_connections 1024; } http { sendfile on; upstream receiver_server { server receiver:80; } server { listen 80; listen [::]:80; server_name eqid.******.com; return 301 https://$host$request_uri; } server { listen 443 ssl; listen [::]:443 ssl; ssl on; server_name eqid.******.com; ssl_certificate /conf.crt/live/******.com.crt; ssl_certificate_key /conf.crt/live/******.com.key; location / { proxy_pass http://receiver_server; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection keep-alive; proxy_redirect off; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } } }
黄色背景行显示: nginx对http:80 请求返回301(重定向,Moved Permanently), 要求浏览器使用Https发起请求。
绿色背景行显示: nginx对此次 https请求,在协商阶段会下发ssl_certificate证书, 会使用 ssl_certificate_key 私钥进行非对称解密。
dotnet.exe自宿模型
Kestrel用作边缘(面向Internet)Web服务器, 这个部署模型不常见,但依旧存在。
我们利用 Visual Studio 2019项目模板构建 ASP.NetCore项目--- 勾选HTTPS支持, 会默认添加Https支持;
- app.UseHttpsRedirection() 要求浏览器的Http请求 重定向使用 HTTPS协议
- app.UseHsts()
HSTS(HTTP Strict Transport Protocol)的作用是强制浏览器使用HTTPS与服务器创建连接,避免原有的301重定向Https时可能发生中间人劫持
服务器开启HSTS的方法是,当客户端通过HTTPS发出请求时,在服务器返回的超文本传输协议响应头中包含Strict-Transport-Security字段。非加密传输时设置的HSTS字段无效。
它告诉浏览器为特定的主机头和特定的时间范围缓存证书。
开发证书
VS模板构建的web会使用dotnet cli 提供的开发证书在https://localhost:5001 地址接收请求。
安装 .NET Core SDK 会将 ASP.NET Core HTTPS 开发证书安装到本地用户证书存储 , 可倒腾 dotnet dev-certs https --help 命令:
dotnet dev-certs https --clean 清除证书,启动程序会报 System.InvalidOperationException:“Unable to configure HTTPS endpoint. No server certificate was specified, and the default developer certificate could not be found or is out of date. To generate a developer certificate run 'dotnet dev-certs https'. To trust the certificate (Windows and macOS only) run 'dotnet dev-certs https --trust'.
dotnet dev-certs https -t 信任证书,会弹窗提示安装名为localhost的根证书:
- 否,web能正常启动,浏览器Https请求能获取证书,但会警示 ▲不安全 (浏览器不信任localhost根证书,证书无效)
- 是,web正常启动,浏览器发起的Https请求,显示正常的显示? 图标
在Windows上,最安全方式是使用certificate store来注册已认证的HTTPS,但是有时候希望在程序内绑定证书+私钥, 这样便于在不同平台上部署。
文件证书
ASP.NET Core支持使用硬盘上文件证书来建立Https连接(这在linux上很常见)。
以下代码允许Kestrel 传入文件证书和私钥,并建立Https连接。
public static IWebHostBuilder CreateWebHostBuilder(string[] args) => WebHost.CreateDefaultBuilder(args) .UseKestrel(options => { options.Listen(IPAddress.Loopback, 5000); options.Listen(IPAddress.Loopback, 5001, listenOptions => { listenOptions.UseHttps("certificate.pfx", "topsecret"); }); }) .UseStartup();
务必确保不要将私钥存储在配置文件中:在开发模式,可使用 user secrets 存储此类密钥;在生产模式,可考虑Azure Key Vault或环境变量。
完整密钥分离请参考: https://www.cnblogs.com/JulianHuang/p/11462607.html
编程允许HttpClient发起不安全的请求
有时候你会使用HttpClient等客户端去请求 受信HTTPS站点, 但是因为某些原因(自签名证书,证书过期), 下发的证书无效 (这个时候浏览器会提示,你可选择忽略,或者手动添加到受信列表继续请求),
但是编程方式的HttpClinet 会立刻终止请求。
给栗子:
使用默认的HttpClient BaseAddress=https://127.0.0.1:5001,访问ASP.NET Core 默认站点https://localhost:5001, 会出现:
这个时候你可考虑重写HttpClient ServerCertificateCustomValidationCallback属性 忽略无效证书报错。
[Route("test")] public async Task<string> Get() { var client = new HttpClient(new HttpClientHandler() { AllowAutoRedirect = true, ServerCertificateCustomValidationCallback = (x1, x2, x3, x4) => true }); var resp = await client.GetAsync("https://127.0.0.1:5001"); return await resp.Content.ReadAsStringAsync(); }
总结
希望本文有助于您大致了解 HTTPS的协议原理,常见的HTTPS的应用方式,
结合.NETCore 说明开发证书 和 文件证书的使用方式, 最后指出允许HttpClient发起不安全请求的方式。