使用thanos管理Prometheus持久化数据


关于thanos的介绍可以参考这篇官方博客的翻译文档,本文不作部署操作介绍。下图是thanos的官方架构图,主要有5个组件:

  • Query:可以近似看作是Prometheus的实现,用于采集其他组件的数据,如sidecar和store gateway。Query的UI与Prometheus基本相同。
  • Store  Gateway:用于获取来自对象存储的历史数据,它使得Query可以获取历史数据,并通过Grafana展示。
  • Compact:用于历史数据的压缩和降准采样,提高在Grafana上执行Zoom-in/Zoom-out时的效率。
  • Ruler:配置告警相关的内容,Ruler的UI与Alertmanager原生的UI基本相同。
  • Sidecar:与Prometheus部署,一来为Query提供未持久化到对象存储的数据;二来将超期的数据持久化到对象存储。

通常thanos管理多集群时,除Sidecar组件需要在每个集群内部署,其余组件仅部署一份,用于处理多个集群的数据。需要注意的是,thanos的StoreAPI采用的是gRPC协议,只能走四层通信,像在openshift 3.11版本下无法通过router(ingress)暴露给集群外部的Query等组件。规避办法为采用nodePort方式暴露,但通常nodePort并不是一个很好的方式,因为它占用了主机的端口。

从使用上看,thanos使用上最主要的作用就是实现了数据的持久化以及历史数据的提取,其实现的StoreAPI也可以作为可移植的功能。

TIPS:

  •  目前thanos还不能支持阿里OSS,但很快会支持,代码合入进展可以参考该PR,如果有需要,可以从dockerhub上下载我自己打包的镜像。oss配置文件如下:
type: ALIYUNOSS
config:
  endpoint: ""
  bucket: ""
  access_key_id: ""
  access_key_secret: ""
  • 可以在源码中使用make build编译源码
  • 可以使用下述校验对象存储状态,如thanos bucket ls --objstore.config-file=/etc/thanos/oss.yml 列出所有的bucket信息
  bucket verify []
    Verify all blocks in the bucket against specified issues

  bucket ls []
    List all blocks in the bucket

  bucket inspect []
    Inspect all blocks in the bucket in detailed, table-like way
  • Query,Ruler,Store_Gateway和Compact的docker-compose启动方式可以参考如下yaml文件
version: '3.1'

volumes:
    grafana_data: {}
    minio_data: {}
    store_data: {}
    compactor_data: {}

services:
  thanos-querier:
    image: ${thanos-image}
    extra_hosts:
- "{$bucket_name}.${oss_backend}:${oss_backend_ip}}" #ali-yun需要添加这一行解析
- "${oss_backend}:${oss_backend_ip}}" command: - 'query' - '--grpc-address=0.0.0.0:10901' # Query storeAPI - '--http-address=0.0.0.0:10902' # Query UI - '--query.replica-label=replica' - '--store=${prometheus_sidecar_lb}:${prometheus_sidecar_lb_port}' - '--store=thanos-store-gateway:10901' privileged: true ports: - 10902:10902 restart: always thanos-store-gateway: image: ${thanos-image} extra_hosts:
- "{$bucket_name}.${oss_backend}:${oss_backend_ip}}"
- "${oss_backend}:${oss_backend_ip}}" volumes: - ./thanos/:/etc/thanos/ - store_data:/data command: - 'store' - '--grpc-address=0.0.0.0:10901' - '--http-address=0.0.0.0:10902' - '--data-dir=/data' - '--objstore.config-file=/etc/thanos/bucket_config.yaml' # Object store config file privileged: true restart: always thanos-compactor: image: ${thanos-image} extra_hosts:
- "{$bucket_name}.${oss_backend}:${oss_backend_ip}}"
- "${oss_backend}:${oss_backend_ip}}" volumes: - ./thanos/:/etc/thanos/ - compactor_data:/data command: - 'compact' - '--log.level=debug' - '--data-dir=/data' - '--objstore.config-file=/etc/thanos/bucket_config.yaml' - '--http-address=0.0.0.0:10902' - '--wait' privileged: true restart: always grafana: image: ${grafana-image} user: "104" ports: - 3000:3000 volumes: - grafana_data:/var/lib/grafana restart: always thanos-ruler: image: ${thanos-image} volumes: - ./thanos/:/etc/thanos/ command: - 'rule' - '--grpc-address=0.0.0.0:10901' # Ruler Store API - '--http-address=0.0.0.0:10902' # Ruler UI - '--log.level=debug' - '--data-dir=/data' - '--eval-interval=15s' - '--query=thanos-querier:10902' - '--alertmanagers.url=http://alertmanager:9093' - '--rule-file=/etc/thanos/*.rules.yaml' - '--objstore.config-file=/etc/thanos/bucket_config.yaml' - "--label=monitor_cluster=\"poc-ocp01\"" - "--label=replica=\"r1\"" ports: - 10903:10902 privileged: true depends_on: - thanos-querier restart: always alertmanager: image: ${alertmanager-image} ports: - 10904:9093 volumes: - ./thanos/:/etc/alertmanager/ restart: always privileged: true command: - '--data.retention=120h' - '--web.listen-address=0.0.0.0:9093' - '--config.file=/etc/alertmanager/alertmanager.yaml' - '--storage.path=/alertmanager'

TIPS:

  • 创建alertmanager高可用集群可以参见这里
  • prometheus和ruler都需要配置external label,否则可能会出现数据冲突
  • store-gateway可能会发生OOM,可以尝试使用--max-time命令限制查找的metric的范围。参见该issue
  • compactor建议配置--consistencyDelay参数,防止由于畸形报文导致compactor崩溃