Skywalking告警功能
Skywalking告警功能是在6.x版本新增的,其核心由一组规则驱动,这些规则定义在config/alarm-settings.yml 文件中。告警规则定义分为两部分:
1、告警规则:它们定义了应该如何触发度量警报,应该考虑什么条件
2、webhook(网络钩子):定义当告警触发时,哪些服务终端需要被告知
一、告警规则
告警规则有两种类型:单独规则、复合规则
1.1、单独规则
rules: # 规则唯一名称,必须以'_rule'结尾. service_resp_time_rule: # 度量名称,也是OAL脚本中的度量名,目前Service, Service Instance, Endpoint的度量可以用于告警 metrics-name: service_resp_time # [可选]默认,匹配此指标中的所有服务 include-names: - service_a - service_b exclude-names: - service_c # 阈值,对于多种指标值的如percentile可以配置P50、P75、P90、P95、P99的阈值 threshold: 75 # 操作符 op: < # 评估度量标准的时间长度 period: 10 # 度量有多少次符合告警条件后,才会触发告警 count: 3 # 检查多少次,告警触发后保持沉默,默认周期相同 silence-period: 10 # 该规则触发时,发送的通知消息 message: Response time of service {name} is more than 50ms in 1 minutes of last 1 minutes.1.2、复合规则 复合规则仅适用于针对相同实体级别的告警规则 例如都是服务级别的告警规则:service_percent_rule && service_resp_time_percentile_rule 不适用于编写不同实体级别的告警规则
rules: service_resp_time_rule: metrics-name: service_resp_time op: ">" threshold: 1000 period: 10 count: 2 silence-period: 10 message: 服务【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒 service_sla_rule: metrics-name: service_sla op: "<" threshold: 8000 period: 10 count: 2 silence-period: 10 message: 服务【{name}】的成功率在最近10分钟内有2分钟低于80% composite-rules: # 规则名称:在告警信息中显示的唯一名称,必须以_rule结尾 comp_rule: # 指定如何组成规则,支持&&, ||, ()操作符 expression: service_resp_time_rule && service_sla_rule message: 服务【{name}】在最近10分钟内有2分钟平均响应时间超过1秒并且成功率低于80%告警规则配置项说明:
- Rule name: 规则名称,也是在告警信息中显示的唯一名称。必须以’_rule’结尾,前缀可以自定义
- metrics name:度量名称,取值为脚本中的度量名,目前只支持long、double、int类型。
- include name:该规则作用于哪些实体名称,比如:服务名,终端名(可选,默认为全部)
- exclude name:该规则不作用于哪些实体名称,比如:服务名,终端名(可选,默认为空)
- op: 操作符:目前支持 > , < , = 【当然你可以自己扩展开发其他的操作符】
- threshold:阈值/目标值:指标数据的目标数据 如sample中的1000就是服务响应时间,配合上操作符就是大于1000ms的服务响应
- period: 告警检查周期:多久检查一次当前的指标数据是否符合告警规则
- counts: 在一个period窗口中,如果values超过threshold值,达到counts值需要发送警报
- silence-period:忽略相同告警信息的周期
- message:告警信息
- webhooks:服务告警通知服务地址
- 过去 3 分钟内服务平均响应时间超过 1 秒
- 最后2分钟服务成功率低于80%
- 最近 3 分钟内服务响应时间超过 1s 的百分比
- 服务实例在过去 2 分钟内平均响应时间超过 1s,并且实例名称与正则表达式匹配
- 过去 2 分钟内端点平均响应时间超过 1 秒
- 过去 2 分钟内数据库访问平均响应时间超过 1 秒
- 过去 2 分钟内端点关系平均响应时间超过 1 秒
- WebHook(可以简单理解位一种web层面的回调机制,通常由一些事件出发,与代码中得事件回调类似,只不过是Web层面的。由于是web层面的,所以当事件发生时,回调的不再是代码中得方法或函数,而是服务接口。例如:在告警这个场景,告警就是一个事件,当该事件发生时,Skywalking就会主动去调用一个配置好的接口,该接口就是所谓的webhook。skywalking的告警消息会通过HTTP请求进行发送,请求方法为POST,Content-Type为application/json,其JSON数据基于List进行序列化的。)
- GRPCHook
- SlackHook
- WechatHook
- DingtalkHook
- FeishuHook
- 测试钉钉告警
tee /skywalking/apache-skywalking-apm-bin-es7/config/alarm-settings.yml <<-'EOF' dingtalkHooks: textTemplate: |- { "msgtype": "text", "text": { "content": "Apache SkyWalking Alarm: \n %s." } } webhooks: - url: https://oapi.dingtalk.com/robot/send?access_token=xxxxx secret: xxxxx EOF如下: 钉钉告警效果: webhook,编写回调接口 Skywalking通过HttpClient的方式远程调用在配置项webhooks中定义的告警通知服务地址: 了解了SW所传送的数据格式我们就可以对告警信息进行接收处理,实现我们需要的告警通知服务啦!我们将一个服务停掉,并将另外一个服务的某个对外暴露的接口让他休眠一定的时间。然后调用一定的次数观察服务的状态信息以及告警情况。 打开源码&Live-Demo工程 修改oap-server/server-bootstrap/src/main/resources/alarm-settings.yml文件覆盖如下配置(最近1分钟内,应用平均响应时间超过50ms次数达到1次)
rules: service_resp_time_rule: metrics-name: service_resp_time threshold: 50 op: ">" period: 1 count: 1 message: Response time of service {name} is more than 50ms in 1 minutes of last 1 minutes. dingtalkHooks: textTemplate: |- { "msgtype": "text", "text": { "content": "Apache SkyWalking Alarm: \n %s." } } webhooks: - url: https://oapi.dingtalk.com/robot/send?access_token=xxx secret: xxx启动OAP服务 org.apache.skywalking.oap.server.starter.OAPServerStartUp 启动UI服务 org.apache.skywalking.apm.webapp.ApplicationStartUp 启动Eureka test.skywalking.springcloud.test.eureka.service.EurekaService_Main 启动ProjectB test.skywalking.springcloud.test.projectb.ProjectB_Main 执行 curl http://localhost:8762/projectB/test 等待1min中后,访问Skywalking UI界面中的告警界面可以看到对应的告警信息 同时,钉钉群中也可以看到推送的消息 zhuan:https://blog.csdn.net/wb4927598/article/details/119192445