clickhouse HA 及性能测试
需求说明
针对clickhouse作为生产环境的底层数据存储,为了能保证生产环境服务稳定可用,做如下性能测试:
(1)chproxy + clickhouse 能否实现集群高可用
(2)clickhouse 写性能
(3)clickhouse查询性能
(4)clickhouse开启字段分区能否提高查询性能
(5)chproxy开启缓存对性能影响
本文档将针对上述方案做验证以及测试输出结果。
并发读性能,其中读压力测试以10s内,启用500/1000/1500个查询,测试并发场景在不同级别下表sql的性能,用于生产环境clickhouse机器部署参考,测试性能如下所示,在查询过程中将主要捕获如下指标:
(1) throughput:用来衡量吞吐量的指标,通常由TPS和QPS来表示
(2)插入的rows/s:反映集群的写入性能
(3)插入的bytes/s:反映集群的写入性能
Python PHP JAVA Centos
考虑上述的sql查询都在租户下查询实现的,因此单位租户下数据量的多少在一定程度上影响了clickhouse 查询,如20000W表,租户为1278时,进过租户条件过滤后数量量很小,基本没性能影响。尽管在复杂sql查询下存在数据量大的表可能存在查询问题,但这类sql查询不到0.1%的场景,且不存在连续查询情况,因此在真实生产环境下存在并发性能问题的可能性很小.