缓存


Redis

redis有丰富的数据类型,支持增量方式的修改部分数据,比如排行榜,集合,数组等。

我比较常用的方式是使用redis作为数据索引,比如评论的列表ID,播放历史的列表ID集合,我们的关系链列表ID。

redis因为没有使用内存池,所以是存在一定的内存碎片的,一般会使用jemalloc来优化内存分配,需要编译时候使用jmalloc库代替glib的malloc使用。

Memcache

memcache提供简单的kv cache存储,value大小不超过1mb。

我使用memcache作为大文本或者简单的kv结构使用。

memcache使用了slab方式做内存管理,存在一定的浪费,如果大量接近的item,建议调整memcache参数来优化每一个slab的ratio、可以通过设置slab_automove开启mc的动态slab,

防止某些slab热点导致内存足够的情况下引发LRU。

选型

Redis和Memcache最大的区别其实是redis单线程,memcache多线程,所以QPS可能两者差异不大,但是吞吐会有很大的差别,比如大数据value返回的时候,redis qps会抖动的很厉害,因为单线程工作,其他查询进不来。

所以建议纯kv都走mc,比如我们的关系链服务中用了hashs存储双向关系,但是我们也会使用mc档一层来避免hgetall导致的吞吐下降问题。

1.队列:目前大部分消息队列实现都是将消息先落盘,然后再异步的进行消息投递,而没有采用激进的使用内存的方案来加快投递速度;

本质来说,当我们的消费者落后的时候,内存队列是不能长时间堆积消息的,很容易OOM,因此我们在通用场景下不建议使用Redis List作为队列使用,简单场景可以考虑使用;

2.持久化:cache本质上来说不是storage,虽然redis有多种持久化手段,但是一旦cache拥有这个特性,就从无状态变成了有状态,cache是易失性质的,目前redis、memecache我都不建议做任何的持久化策略;

特性 memcache redis
QPS
Throughput
DataType KV Index