美团动态线程池实践思路,开源了(二)
大家好,动态线程池项目DynamicTp开源一个多月,目前400多star,说明还是比较受欢迎的,现在已经有一些小伙伴在接入使用或者即将接入使用了,为了项目以后更好的发展迭代,打算出几篇文章来对DynamicTp做一些更详细的介绍,有兴趣的小伙伴欢迎一起参与进来完善迭代项目。
背景啥的可以看前一篇文章介绍
项目地址
感谢star,欢迎pr,业务之余给开源贡献一份力量
gitee地址:https://gitee.com/yanhom/dynamic-tp
github地址:https://github.com/lyh200/dynamic-tp
代码结构
1.adapter模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有SpringBoot内置的三大web容器(Tomcat、Jetty、Undertow)的线程池管理,后续可能接入其他常用组件的线程池管理。
2.common模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样做。
3.core模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此。
4.example模块:提供一个简单使用示例,方便使用者参照
5.logging模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件
6.starter模块:集成各个配置中心实现动态更新配置,目前已经集成Nacos、Apollo两个主流配置中心,使用者也可以参照扩展其他配置中心实现,客户端使用也只需引入相应starter依赖就行。
可以看出,项目还是比较简单的,总代码量也就180Kb左右,相当轻量。配置解析、报警平台、配置中心、监控数据输出、拒绝策略等都提供有SPI接口供使用者扩展,高度可定制化(自定义实现也可以提PR合并到项目中供他人使用)。
个人还是有比较强的代码洁癖的,所以代码这块也还是比较干净的(基本没有warning提示),也大量使用一些设计模式优化代码结构,可读性还是比较强的,可以一起交流学习。
关于扩展
1.扩展配置解析
目前支持的配置文件格式有yaml和properties,如果要扩展其他类型,参考其他两个实现继承AbstractConfigParser类,实现相应方法就行。
2.扩展报警平台
目前支持的报警平台有钉钉和企业微信,如果要扩展其他平台,参考其他两个实现继承AbstractNotifier类,实现相应方法就行。
3.扩展监控数据输出
目前监控指标数据支持以JsonLog输出到指定位置和MicroMeter采集两种方式,如果要扩展其他实现,参考其他两个实现继承AbstractCollector类,实现相应方法,然后把配置文件中的collectorType字段配置该类型就行
4.扩展配置中心
目前支持的配置中心有Nacos和Apollo两种,如果要扩展其他实现,比如ZK、Consul等可以参考其他两个实现继承AbstractRefresher类,实现相应方法就行
源码怎么读
对源码感兴趣的朋友可以从DtpRegistry这个类入手去读
围绕注册、获取、刷新这三个核心api去跟代码
注册
注册有两处,都是在spring容器启动时在Bean创建的不同阶段执行,对spring不熟悉的小伙伴随便可以去阅读下spring创建bean的源码,代码里也大量使用了spring的事件机制做代码解耦
1.spring容器启动时DtpPostProcessor会去注册在代码中通过@Bean声明的线程池实例
2.afterPropertiesSet方法会拉去配置中心配置的线程池然后实例化
刷新
配置中心的listener监听到配置文件的变动后,解析配置文件,然后通知DtpRegistry去更新线程池配置,完之后发送变更通知到配置的平台
监控
服务启动后启动一个定时器去做监控报警,可以看DtpMonitor这个类
报警
报警这块代码做了一些抽象设计,运用了像模板方法模式等,代码可读性还是挺强的
看完代码之后你就会发现其实项目挺简单的,但是实用啊,核心代码也就是在元旦那三天写的。
接入使用
建议在配置中心单开一个配置文件,配置文件名称配置到相应字段上。
由于代码一直在迭代中,发布的maven依赖可能不是最新的,线上要使用时可以找我确认下依赖版本。
具体使用步骤上篇文章有讲,可以去看
这个项目我觉得最大的优点也就是轻量,因为各个公司使用的组件体系都可能不太一样,所以留有足够多的扩展点让自己来扩展。下面一节主要介绍集成prometheus+grafana做监控
监控
这块要讲的是集成prometheus+grafana做监控,事先你得安装好prometheus+grafana,这个就不展开讲了,网上教程很多,测试使用可以直接用docker安装,非常简单。
1.首先配置文件中开启micrometer数据采集
enabledCollect: true
collectorType: micrometer
2.项目中引入prometheus依赖,注意可能有版本不兼容问题,我测试遇到过
io.micrometer
micrometer-registry-prometheus
1.8.3
3.开启prometheus指标采集端点
management:
metrics:
export:
prometheus:
enabled: true
endpoints:
web:
exposure:
include: '*' # 线上最后不要*
4.配置prometheus数据采集job,这块可以去了解下他的SD机制(Service Discovery),也就是自动到配置中心发现服务,看你所用的配置中心支不支持这种方式,可以去官网查看,好像是不支持nacos的,但可以去github看有没有别人提供的实现,ZK,Eureka、Consul这些是支持的。这里使用static_configs方式,简单的指定地址的静态配置
- job_name: 'dynamic-tp'
metrics_path: '/actuator/prometheus'
static_configs:
- targets: ['192.168.2.104:9098']
job配置后prometheus管理台看到如下图所示,说明已经开始正常采集指标配置
5.然后就是配置grafana数据可视化,配置如下图,需要该panel配置Json的可以加我发你,到这里监控就搭建起来了,其实也很简单,然后就可以实时监控线程池数据指标变动了
联系我
对项目有什么想法或者建议,可以加我微信交流,或者创建issues,一起完善项目
公众号:CodeFox
微信:yanhom1314