clickhouse HA 及性能测试


需求说明


    针对clickhouse作为生产环境的底层数据存储,为了能保证生产环境服务稳定可用,做如下性能测试:

(1)chproxy + clickhouse 能否实现集群高可用

(2)clickhouse 写性能

(3)clickhouse查询性能

(4)clickhouse开启字段分区能否提高查询性能

(5)chproxy开启缓存对性能影响

    本文档将针对上述方案做验证以及测试输出结果。

并发读性能,其中读压力测试以10s内,启用500/1000/1500个查询,测试并发场景在不同级别下表sql的性能,用于生产环境clickhouse机器部署参考,测试性能如下所示,在查询过程中将主要捕获如下指标:

  (1)  throughput:用来衡量吞吐量的指标,通常由TPS和QPS来表示

(2)插入的rows/s:反映集群的写入性能

(3)插入的bytes/s:反映集群的写入性能

Python PHP JAVA Centos

考虑上述的sql查询都在租户下查询实现的,因此单位租户下数据量的多少在一定程度上影响了clickhouse 查询,如20000W表,租户为1278时,进过租户条件过滤后数量量很小,基本没性能影响。尽管在复杂sql查询下存在数据量大的表可能存在查询问题,但这类sql查询不到0.1%的场景,且不存在连续查询情况,因此在真实生产环境下存在并发性能问题的可能性很小.

Linux Nginx C# C++ Mysql

https://www.dianjilingqu.com/