Redis全知识点
Redis的整套知识点
学习方式:
- 上手就用
- 基本的理论先学习,然后将知识融会贯通
知识列表
- nosql讲解
- 阿里巴巴架构演进
- nosql数据模型
- Nosql四大分类
- CAP
- BASE
- Redis入门
- Redis安装(Windows & Linux服务器)
- 五大基本数据类型
- String
- List
- Set
- Hash
- Zset
- 三种特殊数据类型
- geo
- hyperloglog
- bitmap
- Redis配置详解
- Redis持久化
- RDB
- AOF
- Redis事务操作
- Redis实现订阅发布
- Redis主从复制
- Redis哨兵模式
- 缓存穿透及解决方案
- 缓存击穿及解决方案
- 缓存雪崩及解决方案
- 基础API之jedis详解
- SpringBoot集成Redis操作
- Redis的实践分析
Nosql概述
为什么要用Nosql
我们现在处于什么年代?大数据时代
一般的数据库很难处理大数据!2006年Hadoop
1.单机Mysql的年代
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!那个时候,更多的是使用静态网页HTML~服务器根本没有太大压力!思考一下,这种情况下,整个网站的瓶颈是什么?
1.数据量如果太大,一个机器放不下!
2.数据库的索引(B+树),300万一定要建立索引,一个机器内存放不下
3.访问量(读写混合),一个服务器承受不了~
只要你开始出现以上的三种情况之一,那么你就必须要晋级!
2.Memcached(缓存) + Mysql + 垂直拆分(分库分表 + 读写分离)
同站80%都在查询,每次都要去读就会十分的麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保持效率!
发展过程:优化数据结构和索引-->文件缓存(IO)--> Memcached(当时最热门的技术!)
3、分库分表 +水平拆分 + MySQL集群
技术和业务在发展的同时,对人的要求也越来越高!本质:数据库(读,写)慢慢的就开始使用分库分表来解决写的压力!推出了MySQL的集群,很好的满足了需求
4、如今最近的年代
2010(按键手机)~ 2020,十年之间世界发生翻天覆地的变化;(定位,也是一种数据,音乐、热榜!)。MySQL等关系型数据库就不够用了!数据量很多,变化很快~!MySQL有的使用他存储一些大的文件,博客、图片!数据库表很大,效率就低了
如果有一种数据库能专门处理这种数据,MySQL压力就变得非常小了(研究如何处理这种问题!)大数据的IO压力下,表几乎没法更大!
目前一个基本的互联网项目
为什么要用NoSQL!
用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发性增长这时候我们就需要NoSQL数据库了。
什么是NoSQL
NoSQL = Not Only SQL(不仅仅是SQL),关系型数据库:表格,行,列
泛指非关系型数据库的,随着WEB2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发社区!暴露出很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术!很多数据类型的存储不需要一个固定的格式。不需要多余的操作就可以横向的扩展的!
NoSQL特点
1.方便扩展(数据之间没有关系,很好扩展!)
2.大数据量高性能(Redis 一秒可以写8万次,可以读取11万次,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高!)
3.数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了)
4.传统RDBMS 和 NoSQL
传统的RDBMS
- 结构化组织
- SQL
- 数据和关系都存在单独的表中
- 操作方便数据定义语言
- 严格的一致性
- 基础的事务
Nosql
- 不仅仅是数据库
- 没有固定的查询语言
- 键值对存储,列存储,文档存储,图形数据库(社交关系)
- 最终一致性
- CAP定理和BASE (异地多话)
- 高性能,高可用,高可扩
了解3V + 3高
大数据时代的3V:主要是描述问题的
1.海量Volume
2.多样Variety
3.实时Velocity
大数据时代的3高:主要是对程序的要求
1.高并发
2.高可扩(机器不够了,随时扩展机器)
3.高性能(保证效率,用户体验)
真正在公司中的实践:NoSQL + RDBMS 一起使用才是最强的!阿里巴巴的架构演进!技术没有高低之分,就看如何是去使用!(需要的是思维的提高!)
阿里巴巴的架构演进
架构师的真理:没有什么问题是加一层不能解决的!
# 1、商品的基本信息
名称、价格、商家信息;
关系型数据库就可以解决了!MySQL/Oracle (淘宝早年就去IOE了- 王坚:推荐文章:阿里云的这群疯子)
淘宝内部的MySQL不是大家用的MySQL
# 2、商品的描述、评论(文字比较多)
文档型数据库中,MongoDB
# 3、图片
分布式文件系统 FastDFS
- 淘宝自己的TFS
- Google的GFS
- Hadoop HDFS
- 阿里云的 OSS
# 4、商品的关键字 (搜索)
- 搜索引擎 solr elasticsearch
- ISearch:多隆
# 5、商品的热门的波段信息
- 内存数据库
- Redis Tair、Memache。。。
# 6、商品的交易,外部的交易接口
- 三方应用
大型互联网应用问题:
- 数据类型太多了!
- 数据源繁多,经常重构
- 数据要改造,大面积改造?
解决问题:
NoSQL的四大分类
KV键值对:
- 新浪:Redis
- 美团:Redis + Tair
- 阿里、百度:Redis + memcache
文档型数据库(bson格式和json一样)
-
MongoDB(一般必须要掌握)
- MongoDB是一个基于分布式文件存储的数据库,C++编写,主要用来处理大量的文档!
- MongoDB是一个介于关系型数据库和非关系型数据库中间的产品!
- MongoDB是非关系型数据库中功能最丰富,最像关系型数据库的。
-
ConthDB
- 列存储数据库
-
HBase
-
分布式文件系统
图关系数据库
- 他不是存图形的,放的是关系,比如:朋友圈社交网络。广告推荐!
- Neo4J,infoGrid;
Redis入门
概述
Redis是什么?
Redis(Remote Dictionary Server),即远程字典服务
是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库,并提供多种语言的API。
免费和开源!是当下最热门的的NoSQL数据库技术之一!也被称为结构化数据库!
Redis能干嘛?
1、内存存储、持久化(RDB和AOF)
2、效率高,可以用于高速缓存
3、发布订阅系统
4、地图信息分析
5、计时器、计数器(浏览量)
特性
1、多样的数据类型
2、持久化
3、集群
4、事务
学习中需要用到的东西
1、Redis的官网http://redis.io/
2、中文网:http://www.redis.cn/
3、下载地址在官网下载即可
?注意:windows版本的在github上下载
Redis推荐都是在Linux服务器上搭建的,我们是基于Linux学习。
Windows安装
1、下载安装包:https://github.com/dmajkic/redis/releases
2、下载完毕得到压缩包
3、解压到自己电脑的上的环境目录就可以了(D盘的Environment下)
4、开启Redis,运行服务即可,默认端口6379
5、使用redis客户端来进行连接
Linux安装
1.下载安装包
2.解压redis的安装包,程序一般放到opt目录下
3.进入redis解压后的文件,可以看到我们redis的配置文件
4.基本的环境安装
yum install gcc-c++
make
make install
5、redis的默认安装路径 usr/local/bin
6、将redis配置文件复制到我们当前目录下
7、redis默认不是后台启动的,可以在配置文件中进行配置为后台启动
8、启动redis服务!通过指定的配置文件启动服务 redis-server /redis.conf
9、使用redis-cli进行连接测试
10、查看redis的进程是否开启!
11、如何关闭redis服务,用shutdown
12、再次查看进程是否存在 ps -ef|grep redis
13、后面我们会使用单机多redis启动集群测试
测试性能
redis-benchmark是一个压力测试工具,官方自带的性能测试工具!
redis-benchmark命令参数
简单测试下
# 测试:100个并发连接,100000个请求
redis-benchmark -h localhost -p 6379 -c 100 -n 100000
解析测试
100000并发进行写入测试,100个并发的客户端,每次只写3个字节,只保证一台服务器来处理请求
基础的知识
redis默认有16个数据库
使用select 3来选择数据库,当前命令代表选择了第三个数据库
DBSIZE 查看数据库的大小
-
keys * 代表查看所有的key
-
flushdb 代表清空当前数据库
-
flushall 代表清空全部的数据库
思考:为什么redis的端口号是6379?
因为是作者喜欢的明星在9宫格上的按
Redis是单线程的!
明白Redis是很快的,官方表示,Redis是基于内存操作,CPU不是Redis的瓶颈,Redis的
瓶颈是根据机器的内存和网络带宽,既然可以使用单线程来实现。那么Redis就使用单线程来实现了。
Redis是C语言写的,官方提供的数据为100000+的GPS,完全不比Memecache差!
Redis为什么单线程还这么快?
1、误区1:高性能的服务器一定是多线程的?
2、误区2:多线程(CPU的上下文切换)一定比单线程效率高!
CPU>内存>硬盘
核心:redis是将所有的数据全部放在内存中的,所以用单线程就是效率最高的。
对于内存系统来说,没有上下文切换效率就是最高的!多次读写都在一个CPU上。
这个就是最佳的方案。
五大数据类型
官网文档
Redis是一个开源的,基于内存的数据结构存储系统,它可以用作数据库、缓存和消息中间件MQ,它支持多种数据结构,如字符串,散列、列表、集合、有序集合与范围查询,bitmaps,hyperloglogs和地理空间(geospatial)索引半径查询,redis内置了复制、LUA脚本、LRU驱动事件、事务和不同级别的磁盘持久化,并通过Redis哨兵和自动分区提供高可用性。
Redis-Key
exists key # 代表是否存在key
move name 1 # 1代表当前数据库,代表移动key到指定数据库中
expire name 10 # 代表10秒后过期
ttl name #查看当前key的过期时间
type key #查看key的类型
不知道什么命令可以去官方网站去查找
String
append key1 "hello" #追加字符串,如果当前key不存在,就相当于set key
strlen key # 获取字符串的长度
incr key # 让key加1
decr key # 让key减一
incrby key 10 # 一次性加10
decrby key 10 # 一次性减10
getrange key 0 3 # 获取指定范围的字符串
getrange key 0 -1 # 获取全部的字符串
setrange key2 1 xx # 替换指定位置的字符串
setex(set with expire) #设置值的时候并设置过期时间
setnx(set if not exist)# 不存在再设置值,在分布式锁中经常使用
mset k1 v1 k2 v2 k3 v3 # 同时设置多个值
mget k1 k2 k3 # 同时获取多个值
msetnx # 是一个原子性的操作,要么一起成功,要么一起失败
# 对象
set user:1 {name:zhangsan,age:3} # 设置一个user:1对象,值为json字符串
mset user:1:name zhangsan user:1:age 12
这个user:1则为组合命令
getset # 先get再set,如果不存在值则返回null,如果存在值则返回原来的值然后设置新的值。
String类型的使用场景:
- 计数器
- 统计多单位的数量
- 粉丝数
- 对象存储缓存
List
在redis里面,我们可以将list玩成:栈、队列、阻塞队列
所有的list操作都是l开头的
LPUSH list one # 将一个值或多个值放到列表的头部
RPUSH list right # 讲一个值或多个值放到列表的尾部
LRANGE list 0 -1 # 获取list的值
LPOP list # 移除list的第一个元素
RPOP list # 移除list的最后一个元素
注意:
redis中一个key只能对应一个类型的值,当你将数据类型设置为了list,然后可以使用set key将这个key设置为字符串,但是此时这个key将不能被设置为其它类型了。
lindex list 1 # 通过下标获取list中的某一个值
llen list #获取list的长度
Lrem list 1 "three" # 移除指定的key,1代表移除几个(填0的话,也会移除),“three”代表要移除的值
ltrim mylist 1 2 # 修剪指定值,此项代表只保留1-2的值,通过下标,截取后得到的是修剪后的list
# 组合命令
rpoplpush #移除列表的最后一个元素,push到另一个列表中
lset list 0 cml # 指定下标去添加,必须保证list存在
#########################################################################
127.0.0.1:6379> lset list 0 eage
OK
127.0.0.1:6379> lrange list 0 -1
1) "eage"
2) "seven"
127.0.0.1:6379> lset list 2 dddd
(error) ERR index out of range
127.0.0.1:6379>
#########################################################################
Linsert list before “world” “other” # 将某个具体的value插入到列表中某个值的前面或者后面
小结
- 他实际上是一个链表,before Node after,left,right都可以插入值
- 如果key不存在,创建新的链表
- 如果key存在,新增内容
- 如果移除了所有值,空链表,也代表不存在!
- 在两边插入或者改动时,效率最高!中间元素,相对来说效率会低一点~
消息队列(Lpush 与 Rpop),栈(Lpush 与 Lpop)
Set
set中的值不能重复
127.0.0.1:6379> sadd myset hello kuangsheng lovekuangshen
(integer) 3
127.0.0.1:6379> smembers myset
1) "hello"
2) "lovekuangshen"
3) "kuangsheng"
127.0.0.1:6379> sismember myset hello
(integer) 1
sadd key value # 往set中添加元素
smembers key # 查看set的所有值
sismember key “hello” # 查看成员是否在set中
127.0.0.1:6379> scard myset # 获取set集合中的元素个数
(integer) 3
127.0.0.1:6379>
# 移除元素
srem myset hello
127.0.0.1:6379> srem myset hello
(integer) 1
127.0.0.1:6379> scard myset
(integer) 2
127.0.0.1:6379> smemebers myset
(error) ERR unknown command 'smemebers'
127.0.0.1:6379> smembers myset
1) "kuangsheng"
2) "lovekuangshen"
127.0.0.1:6379>
# srandmember myset // 随机抽选出一个元素
# spop myset // 随机删除一个key
127.0.0.1:6379> smembers myset
1) "22234"
2) "kuangsheng"
3) "ssdsff"
4) "lovekuangshen"
127.0.0.1:6379> srandmember myset
"lovekuangshen"
127.0.0.1:6379> srandmember myset
"lovekuangshen"
127.0.0.1:6379> srandmember myset
"ssdsff"
127.0.0.1:6379> srandmember myset
"ssdsff"
127.0.0.1:6379> srandmember myset
"22234"
127.0.0.1:6379> spop myset
"ssdsff"
127.0.0.1:6379> spop myset
"22234"
127.0.0.1:6379> smembers myset
1) "kuangsheng"
2) "lovekuangshen"
# 将一个元素放到另一个集合中
smove myset myset2 "hello" 将myset中的hello移动到myset2中
# 重点:差集、交集、并集
sdiff key1 key2 找出key1在key2中的差集
sinter key1 key2 找出key1跟key2中的交集
sunion key1 key2 找出key1与key2中的并集
微博与B站,A用户将所有关注的人放在一个set集合中,将他的粉丝也放到一个集合中!
共同关注,共同爱好,二度好友(六度分割理论)
Hash(哈希)
Map集合,key -
存的也是key-value,但这个时候值是一个map集合
本质跟String类型没有太大区别!
127.0.0.1:6379> hset myhash field1 caominglong # 设置一个字段值
(integer) 1
127.0.0.1:6379> hget myhash field1
"caominglong"
127.0.0.1:6379> hmset myhash field1 hello field2 world # 设置多个字段值
OK
127.0.0.1:6379> hmget myhash field1 field2 # 获取多个字段值
1) "hello"
2) "world"
127.0.0.1:6379> hgetall myhash # 获取所有的hash值
1) "field1"
2) "hello"
3) "field2"
4) "world"
127.0.0.1:6379> hdel myhash field1 # 删除hash指定的字段值,删除字段后,value值也会被删除
(integer) 1
127.0.0.1:6379> hgetall myhash
1) "field2"
2) "world"
# 获取所有的长度
127.0.0.1:6379> hlen myhash
(integer) 1
127.0.0.1:6379> hset myhash field hello2 field3 3434
(error) ERR wrong number of arguments for 'hset' command
127.0.0.1:6379> hset myhash field hello2
(integer) 1
127.0.0.1:6379> hlen myhash
(integer) 2
# 判断hash中的key是否存在
127.0.0.1:6379> hexists myhash field1
(integer) 0
127.0.0.1:6379> hexists myhash field
(integer) 1
# 只获取所有的field
# 只获取所有的value
127.0.0.1:6379> hkeys myhash
1) "field2"
2) "field"
127.0.0.1:6379> hvals myhash
1) "world"
2) "hello2"
# 其它
127.0.0.1:6379> hset myhash field3 4
(integer) 1
127.0.0.1:6379> hincrby myhash field3 3
(integer) 7
127.0.0.1:6379> hsetnx myhash field4 hellp
(integer) 1
127.0.0.1:6379> hsetnx myhash field world
(integer) 0
hash存一些变更的数据,比如用户信息的保存,经常变动的信息!
Zset(有序集合)
在set的基础上,增加了一个值,set k1 v1 zset k1 score v1
127.0.0.1:6379> zadd myset 1 one # 添加值
(integer) 1
127.0.0.1:6379> zadd myset 2 two
(integer) 1
127.0.0.1:6379> zrange myset 0 -1
1) "one"
2) "two"
# 排序如何实现
127.0.0.1:6379> zadd salary 2500 xiaohong
(integer) 1
127.0.0.1:6379> zadd salary 5000 zhangsan
(integer) 1
127.0.0.1:6379> zadd salary 500 caominglong
(integer) 1
127.0.0.1:6379> zrangebyscore salary -inf +inf
1) "caominglong"
2) "xiaohong"
3) "zhangsan"
127.0.0.1:6379> zrangebyscore salary 0 1
(empty list or set)
127.0.0.1:6379> zrangebyscore salary -1 0
(empty list or set)
127.0.0.1:6379> zrangebyscore salary 500 5000 # 返回值中最小值到最大值
1) "caominglong"
2) "xiaohong"
3) "zhangsan"
127.0.0.1:6379> zrangebyscore salary 5000 300 # 此时范围内不存在值
(empty list or set)
127.0.0.1:6379> zrangebyscore salary 300 6000
1) "caominglong"
2) "xiaohong"
3) "zhangsan"
######################################################################
移除rem中的元素
127.0.0.1:6379> zrem salary xiaohong
(integer) 1
127.0.0.1:6379> zrange salary 0 -1
1) "caominglong"
2) "zhangsan"
127.0.0.1:6379> zcard salary # 获取有序集合中的个数
(integer) 2
######################################################################
127.0.0.1:6379> zrange salary 0 -1 # 从小到大排序
1) "caominglong"
2) "zhangsan"
127.0.0.1:6379> zcard salary
(integer) 2
127.0.0.1:6379> zrevrange salary 0 -1 # 从大到小排序
1) "zhangsan"
2) "caominglong"
######################################################################
127.0.0.1:6379> zcount salary 500 5000 # 获取权重区间内的元素个数
(integer) 2
如果工作中有需要,这个时候去查查官方文档!
案例思路:set排序,存储班级成绩表,工资表排序
普通消息,1,重要消息,2 带权重执行消息
排行榜应用实现,取Top N测试
三种特殊数据类型
geospatial(地理位置)
朋友的定位,附近的人,打车距离计算?redis的Geo在redis3.2版本就推出了!
只有6个命令:
geoadd
127.0.0.1:6379> geoadd china:city 116.40 39.90
(error) ERR wrong number of arguments for 'geoadd' command
127.0.0.1:6379> geoadd china:city 116.40 39.90 beijing # geoadd key 经度 纬度 名称
(integer) 1
127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai 106.50 29.53 chongqing 114.05 22.52 shengzheng
(integer) 3
127.0.0.1:6379> geoadd china:city 120.16 30.24 hangzhou 108.96 34.26 xian
(integer) 2
geopos
127.0.0.1:6379> geopos china:city beijing # 获取指定的经度和纬度
1) 1) "116.39999896287918"
2) "39.900000091670925"
127.0.0.1:6379> geopos china:city beijing shanghai
1) 1) "116.39999896287918"
2) "39.900000091670925"
2) 1) "121.47000163793564"
2) "31.229999039757836"
geodist 返回两个位置中的距离,默认为米作为单位
单位m 表示单位为米
km表示单位为千米
mi表示单位为英里
ft表示单位为英尺
127.0.0.1:6379> geodist china:city beijing shanghai km # 北京到上海的距离
"1067.3788"
127.0.0.1:6379> geodist china:city beijing chongqing
"1464070.8051"
127.0.0.1:6379> geodist china:city beijing chongqing km # 北京到重庆的距离
"1464.0708"
georadius 以给定的经纬度为中心,找出某一半径的元素
找附近的人?(获得所有附近的人的地址。定位)
georadius china:city 110 30 500 km withdist withcoord count 1
127.0.0.1:6379> georadius china:city 110 30 1000 km # 以110 30这个经纬度为中心寻找方圆1000千米内的城市,前提是所有的数据都录入了
1) "chongqing"
2) "xian"
3) "shengzheng"
4) "hangzhou"
127.0.0.1:6379> georadius china:city 110 30 500 km # 以110 30这个经纬度为中心寻找方圆500千米内的城市
1) "chongqing"
2) "xian"
127.0.0.1:6379> georadius china:city 110 30 500 km withdist withcoord count 1 # 以110 30这个经纬度为中心寻找方圆500千米内的城市,显示中心距离位置,显示他人的定位信息,筛选出指定数量的用户
1) 1) "chongqing"
2) "341.9374"
3) 1) "106.49999767541885"
2) "29.529999579006592"
127.0.0.1:6379>
georadiusbymember 根据元素的位置来找
127.0.0.1:6379> georadiusbymember china:city beijing 1000 km
- "beijing"
- "xian"
geohash 将定位转换为11个字符的geohash字符串
geo底层的实现原理其实就是zset!我们可以使用zset命令来操作geo
127.0.0.1:6379> zrange china:city 0 -1 #查看地图中全部元素
1) "chongqing"
2) "xian"
3) "shengzheng"
4) "hangzhou"
5) "shanghai"
6) "beijing"
127.0.0.1:6379> zrem china:city beijing # 移除地图中的元素
(integer) 1
127.0.0.1:6379> zrange china:city 0 -1
1) "chongqing"
2) "xian"
3) "shengzheng"
4) "hangzhou"
5) "shanghai"
Hyperloglog
什么是基数?
A{1,3,5,7,,8,7}
B{1,3,5,7,8}
基数(不重复的元素) = 5
redis 2.8.9 版本就更新了Hyperloglog数据结构!
Redis Hyperloglog基数统计的算法!
优点:占用的内存是固定,2^64不同的元素的技术,只需要废12kb内存!如果
要从内存角度来选的话,首选Hyperloglog!
网页的UV(一个人访问一个网站多次,但是还是算作一个人)
传统的 方式,set保存用户的id,然后就可以统计set中的元素数量作为标准判断!
这个方式如果保存大量的用户id,就会比较麻烦!我们的目的是为了计数,而不是
保存用户id
测试使用
127.0.0.1:6379> PFadd mykey a b c d e f g h i j
(integer) 1
127.0.0.1:6379> PFCOUNT mykey
(integer) 10
127.0.0.1:6379> PFadd mykey2 i j z x c v b n m
(integer) 1
127.0.0.1:6379> pfcount mykey2
(integer) 9
127.0.0.1:6379> pfmerge mykey3 mykey mykey2 # 过滤掉重复的元素,放入mykey3中
OK
127.0.0.1:6379> pfcount mykey3
(integer) 15
如果允许容错,那么就可以使用hyperloglog
如果不允许容错,就使用set
bitmap
位存储 统计数量
统计用户信息,活跃不活跃,登录未登录!打卡未打卡
bitmap位图,数据结构!都是操作二进制位来进行记录,就只有0 1两个状态!
365天=365 bit 1字节=8bit 46个字节左右!
测试
setbit sign 0 1 2 3 4 5 6
使用bitmap记录周一到周日的打卡
getbit sign 3 # 查看数据
使用bitcount统计数据
127.0.0.1:6379> setbit sign 0 1
(integer) 0
127.0.0.1:6379> setbit sign 1 0
(integer) 0
127.0.0.1:6379> setbit sign 2 1
(integer) 0
127.0.0.1:6379> setbit sign 3 0
(integer) 0
127.0.0.1:6379> setbit sign 4 1
(integer) 0
127.0.0.1:6379> setbit sign 5 0
(integer) 0
127.0.0.1:6379> setbit sign 6 1
(integer) 0
127.0.0.1:6379> getbit sign 3
(integer) 0
127.0.0.1:6379> bitcount sign # 统计为1的数量
(integer) 4
事务
要么同时成功,要么同时失败!
redis的事务是不保证原子性的!
redis事务本质:一组命令的集合!一个事务的所有命令都会被序列化!
一次性!顺序性!排他性!
------ 队列 set set set 执行 -----
redis事务没有隔离级别的概念!
所有的命令在事务中,并没有直接被执行,只有发起执行命令的时候才会执行!
redis的事务:
- 开启事务()
- 命令入队()
- 执行事务()
正常执行事务!
先用multi来开启事务
然后使用exec来执行事务
使用discard来取消事务
127.0.0.1:6379> multi # 开启事务
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> set k2 k2
QUEUED
127.0.0.1:6379> get k1
QUEUED
127.0.0.1:6379> exec # 执行事务
1) OK
2) OK
3) OK
4) "v1"
127.0.0.1:6379> multi
OK
127.0.0.1:6379> set k3 v3
QUEUED
127.0.0.1:6379> set k4 v4
QUEUED
127.0.0.1:6379> get v4
QUEUED
127.0.0.1:6379> discard # 取消事务
OK
编译型异常(代码有问题!命令有错!),事务中所有的命令都不会被执行!
127.0.0.1:6379> multi
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> set k3 v3
QUEUED
127.0.0.1:6379> getset k3
(error) ERR wrong number of arguments for 'getset' command
127.0.0.1:6379> set k4 v4
QUEUED
127.0.0.1:6379> exec
(error) EXECABORT Transaction discarded because of previous errors.
运行时异常(1/0),如果事务队列中存在语法性,那么执行命令的时候,其它命令可以正常执行的!错误命令会抛出异常!
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> incr k1
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> set k3 v3
QUEUED
127.0.0.1:6379> get k3
QUEUED
127.0.0.1:6379> exec
1) (error) ERR value is not an integer or out of range
2) OK # 虽然第一条命令报错了,后续的都执行成功了
3) OK
4) "v3"
监控
悲观锁!
- 很悲观,认为什么时候都会出问题,无论什么时候都会加锁!
乐观锁! - 很乐观,认为什么时候都不会出问题,所以不会上锁,更新数据的时候去判断一下,再次
- 期间是否有人修改过这个数据
- 获取version
- 更新的时候比较version
redis监控测试
当我一个线程在用事务操作过程中,另一个线程修改了我们的值,这个时候导致事务执行失败!
127.0.0.1:6379> watch money
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> decrby money 10
QUEUED
127.0.0.1:6379> incrby out 10
QUEUED
127.0.0.1:6379> exec
(nil) # 执行失败
Jedis
我们要使用我们的java来操作Redis
https://mvnrepository.com
什么是jedis,是Redis官方推荐的java连接开发工具!使用java操作Redis中间件!如果你要用java使用redis,一定要对jedis十分的熟悉!
测试
1、导入对应的依赖
redis.clients
jedis
3.2.0
com.alibaba
fastjson
1.2.62
2、编码测试:
- 连接数据库
- 操作命令
- 断开连接!
jedis所有的方法都是跟学习的指令一样的!
SpringBoot的整合
springboot操作数据:spring-data jpa jdbc mongodb redis!
SpringData 也是和SpringBoot齐名的项目!
说明:在SpringBoot2.x之后,原来使用的jedis被替换为了lettuce?
jedis:采用的直连,多个线程操作的话,是不安全的,如果想要避免不安全的,使用
jedis pool连接池!BIO
lettuce:采用netty,实例可以再多个线程中进行共享,不存在线程不安全的情况!
可以减少线程数量,更像NIO模式
整合测试一下
SpringBoot所有的配置类都有一个自动配置类RedisAutoConfiguration,自动配置类都会绑定一个properties的配置文件RedisProperties
源码分析
public RedisTemplate
整合测试一下
1、导入依赖
<-- 操作redis -->
org.springframework.boot
spring-boot-starter-data-redis
2、配置连接
# 配置redis
spring.redis.host=127.0.0.1
spring.redis.port=6379
3、测试!
opsForList 操作List 类似List
opsForList 操作List 类似List
opsForSet
opsForHash
opsForZset
opsForGeo
opsForHyperLogLog
opsForStream 新的类型,用于消息队列
除了基本的方法,我们常用的方法都可以通过redisTemplate操作
比如事务和基本的CRUD
配置序列化
配置可使用的一些序列化器
# 将对象转为json后,控制台正确打出对象
User user = new User("曹明龙", 3);
String jsonUser = new ObjectMapper().writeValueAsString(user);
redisTemplate.opsForValue().set("user", jsonUser);
System.out.println(redisTemplate.opsForValue().get("user"));
# 直接传一个对象,运行后则会报错,提示对象没有序列化
User user = new User("曹明龙", 3);
//String jsonUser = new ObjectMapper().writeValueAsString(user);
redisTemplate.opsForValue().set("user", user);
System.out.println(redisTemplate.opsForValue().get("user"));
关于对象的保存,一般在企业中对象都会序列化,就是implements Serializable
编写自己的序列化方式
Jackson2JsonRedisSerializer objectJackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL,JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.defaultTyping.NON_FINAL);
objectJackson2JsonRedisSerializer.setObjectMapper(om);
// String的序列化
StringRedisSerializer stringRedisSerializer = new StringRedisSerializer():
// key采用String的序列化方式
template.setKeySerializer(stringRedisSerializer);
template.setHashKeySerializer(stringRedisSerializer);
template.setValueSerializer(objectJackson2JsonRedisSerializer);
template.setHashValueSerializer(objectJackson2JsonRedisSerializer);
template.afterPropertiesSet();
return template;
key被序列化为了String
一般公司中会写redisUtils来操作redis
封装成get、set等等直接操作命令。
Redis.conf详解
启动的时候就通过配置文件来启动的!
工作中一些小小的配置,脱颖而出!
单位
1.配置文件对大小写不敏感
包含
相当于Spring中的import与include
网络
bind 127.0.0.1 #绑定的ip
protected-mode yes # 保护模式
port 6379 # 端口设置
通用配置
daemonize yes # 以守护进程的方式运行,默认是no,我们需要自己开启yes!
pidfile /vat/run/redis_6379.pid # 如果以后台的方式运行,我们需要指定一个pid文件
# 日志
loglevel notice
logfile “” 日志的文件位置名
databases 16 # 数据库的数量
always-show-logo yes # 是否总是显示logo
快照
持久化,在规定的时间内,执行了多少次操作,则会持久化到文件.rdb .aof
redis是内存数据库,如果没有持久化,那么数据断电及失!
# 如果900秒内,如果至少有一个 1key进行了修改,我们及进行持久化操作
save 900 1
# 如果300秒内,如果至少10key进行了修改,我们及进行持久化操作
save 300 10
# 如果60s内,如果至少10000 key进行了修改,我们及进行持久化操作
save 60 10000
# 我们之后学习持久化,会自己定义这个测试!
stop-writes-on-bgsave-error yes # 持久化如果出错,是否还需要继续工作
rdbcompression yes # 是否压缩rdb文件,需要消耗一些cpu资源
rdbchecksum yes # 保存rdb文件的时候,进行错误的检查校验!
dir ./ # rdb文件保存的目录
REPLICATION 复制,后面的主从复制再说明
安全
默认密码是空的
requirepass foobared
可以进行设置 config set requirepass “123456”
设置了之后用auth 123456就可以登录了
客户端的限制
maxclients 10000 # 设置最大的客户端数
maxmemory # redis最大的内存设置
maxmemory-policy noeviction # 内存到达上限后之后的处理策略
1.volation-lru,只对设置了过期时间的key进行LRU
2.allkeys-lru,删除lru算法的key
3.voaltion-random, 随机删除即将过期key
4.allkeys-random,随机删除
5.volation-ttl,删除即将过期的
6.noeviction,永不过期,返回错误
APPEND ONLY MODE aof配置
appendonly no #默认是不开启aof配置的,默认是使用rdb进行持久化,在大部分情况下,rdb够用了。
appendfilename "appendonly.aof" # 持久化文件的名字
appendfsync always # 每次修改都会同步,消耗性能
appendfsync everysec # 每秒执行一次,可能会丢失一秒数据
# appendfsync no # 不同步,操作系统自己同步数据,速度最快!
Redis持久化
redis是内存数据库,如果不把内存中的数据库保存在磁盘,则断电及失。
那么一旦服务器进程退出,服务器中的数据库状态也会消失,所以redis提供了
持久化功能!
RDB(Redis DataBase)
什么是RDB
在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里,redis会单独创建一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件,整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效,RDB的缺点是最后一次持久化后的数据可能丢失。
我们默认的就是RDB,一般情况下不需要修改这个配置!
rdb保存的文件是 dump.rdb 都是在我们的配置文件中的快照中进行配置。
触发机制
1、save的规则满足的情况下,会自动触发rdb规则
2、执行flushdb命令,也会触发rdb的规则
3、退出redis,也会产生rdb文件
4、执行save(阻塞, 只管保存快照,其他的等待) 或者是bgsave (异步)命令
备份就自动生成一个rdb文件
如何恢复rdb文件!
1、只需要将rdb文件放在我们redis启动目录就可以,redis启动的时候会自动检查dump.rdb。恢复其中的数据!
2、查看需要存在的位置
127.0.0.1:6379> config get dir
1) "dir"
2) "D:\\Environment\\redis3.2.100" # 如果这个目录下存在dump.rdb文件,启动就会自动恢复其中的数据
127.0.0.1:6379>
优点:
1、适合大规则的数据恢复!
2、对数据的完整性不高!
缺点:
1、需要一定的时间间隔进行操作,如果redis意外宕机了,这个最后一次修改数据就没有的了!
2、fork进程的时候,会占用一定的内存空间!
AOF(Append only File)
将我们的所有的命令都记录下来,history,恢复的时候就把这个文件全部再执行一遍
是什么
以日志的形式来记录每个写操作,将Redis执行过的所有指令记录下来(该操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
AOF保存的是appendonly.aof文件
默认是不开启的,我们需要手动开启!我们只需要将appendonly改为yes即可开启aof
如果aof出现错误,那么是启动连接不上redis服务的
redis-check-aof -- fix appendonly.aof 进行修复
优点和缺点
优点:
1、每一个修改都记录,文件的完整性会更好!
2、每秒同步一次,可能会丢失一秒的数据
3、从不同步,效率最高的!
缺点:
1、相对于数据文件来说,aof远远大于rdb,修复的速度也比rdb慢!
2、aof运行的效率也要比rdb慢
扩展:
Redis 发布订阅
通信:
Redis发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息,微信、微博、关注系统!
Redis客户端可以订阅任意数量的频道
订阅、发布消息图:
第一个:消息发送者,第二个:频道 第三个:订阅者
下图展示了频道channel1,以及订阅这个频道的三个客户端--client2、client5、client1之间的关系!
当有新消息通过publish命令发送给频道channel1时,这个消息就会被发送给订阅他的三个客户端:
命令
这些命令被广泛用于构建即时通信应用,比如网络聊天室和实时广播实时提醒等。
测试
publish channel message # 发送消息
subscribe channel # 订阅消息
订阅者:
127.0.0.1:6379> subscribe kuangshengshuo # 订阅一个频道
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "kuangshengshuo"
3) (integer) 1
1) "message" # 消息
2) "kuangshengshuo" #来自哪个频道的消息
3) "hello" # 消息的具体内容
发送端:
127.0.0.1:6379> publish kuangshengshuo "hello" # 发送hello消息
(integer) 1
使用场景
1.实时消息系统!
2.实时聊天!(频道当做聊天室,将信息回显即可)
3.订阅、关注系统
稍微复杂的场景我们就会使用消息中间件来做!MQ
主从复制
概念
主从复制,是指将一台redis服务器的数据,复制到其他的redis服务器,前者称为主节点(master/leader)
后者称为从节点(slave/follower);数据的复制是单向的,只能由主节点到从节点。master以写为主,Slave以读为主。
默认情况下,每台redis服务器都是主节点,且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
主从复制的作用主要包括:
1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式
2、故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复,实际上是一盏服务的冗余。
3、负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写redis数据时应用连接主节点,读redis数据时应用连接从节点),分担服务器负载,尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大的提高redis服务器的并发量。
4、高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施 的基础,因此说主从复制是redis高可用的基础。
一般来说,要将redis运用于工程项目中,只使用一台redis是万万不能的,原因如下:
1、从结构上,单个redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;
2、从容量上,单个redis服务器内存容量有限,就算一台redis服务器内存容量为256G,也不能将所有的内存用作redis存储内存,一般来说,单台redis最大使用内存不应该超过20G。
电扇网站上的商品,一般都是一次上传,无数次浏览的,说专业点的也就是“多读少写”。
环境配置
只配置从库,不配置
info replication # 查看主从复制的信息
复制3个配置文件,然后修改对应的信息
1.端口
2.pid名字
3.log文件名字
4.dump.rdb文件名字
一主二从
默认情况下,每台redis服务都是主机
只需要配置从机就好了!
slaveof 127.0.0.1 6379 #slaveof host 6379
认老大,找谁当自己的老大即可,比如当前连接上6380的服务,然后执行此命令,
则可以看到6380为从机,6379为6380的主机
真实的主从配置,应该在配置文件中配置,这样的话是永久的,命令的话是暂时的。
细节了解
主机可以设置值,从机负责读(不能写)!
当主机宕机了,从机查看配置还是显示从机信息,还是连接到主机的。主机回来了,从机还是可以自动连接上主机。
当从机断开,如果是用命令行配置的主从,这个时候如果重启了,就会变为主机。只要再次设置为从机,就会立即从主机获取值!
复制原理
Slave启动成功连接到master后发送一个sync同步命令
Master接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕后,master将传送整个数据文件到slave,并完成一次完全同步。
全量复制:而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。
增量复制:master继续将新的所有收集到的修改命令依次传给slave,完成同步。
但是只要是重新连接到master,一次完全同步(全量复制)将被自动执行。
层层链路
上一个M链接下一个S!
这时候也能完成我们的主从复制!
如果没有老大了,这个时候能不能选择一个老大呢?
使用slaveof no one使自己变成主机,这个工作是手动的,如果这个时候之前的老大恢复了,那就必须要重新配置。
哨兵模式(自动选取主机的模式)
概述
主从切换技术的方法是:但主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,费时费力,还会造成一段时间内服务不可用,这不是一种推荐的方法,更多时候,我们优先考虑哨兵模式,redis从2.8开始正式提供了sentinel(哨兵)来解决这个问题!
谋朝篡位的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库切换为主库。
哨兵模式是一种特殊的模式,首先redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行,其原理是哨兵通过发送命令,等待redis服务器响应,从而监控运行的多个redis实例。
这里的哨兵有两个作用:
- 通过发送命令,让redis服务器返回监控其运行状态,包括主服务器和从服务器。
- 但哨兵监测到master宕机,会自动将slave切换为master,然后通过发布订阅模式通知其他的从服务器
修改配置文件,让它们切换主机。
然而一个哨兵进程对redis服务器进行监控,可能会出现问题,为此,我们可以使用多个哨兵进行监控,各个哨兵之间还会进行监控,这样就形成了多哨兵模式。
假设主服务器宕机,哨兵1先检测到这个结果,系统并不会马上进行failover过程,仅仅是哨兵1主观 的认为主服务器不可用,这个现象为主观下线,当后面的哨兵也检测到主服务器不可用,并且数量达到一定值时,那么哨兵之间就会进行一次投票,投票的结果由一个哨兵发起,进行failover【故障转移】操作,切换成功后,就会通过发布订阅模式,让各个哨兵把自己监控的从服务器实现切换主机,这个过程称为客观下线。
测试
1.配置哨兵配置文件
sentinel monitor 被监控的名称 host port 1
sentinel monitor myredis 127.0.0.1 6379 1
后面的这个数字!代表主机挂了,slave投票看让谁接替成为主机
启动哨兵
redis-sentinel
如果master节点断开了,这个时候就会从从机中重新选择一个主机。
如果主机宕机后恢复了,只能归并到新的主机下,当做从机,这就是哨兵模式的规则!
哨兵模式
优点:
1、哨兵集群,基于主从复制的模式,所有主从复制的优点,它全有
2、主从可以切换,故障可以转移,系统的可用性就会更好
3、哨兵模式就是主从复制的升级,手动到自动,更加强壮
缺点:
1、redis不好在线扩容,集群容量一旦达到上限,在线扩容就十分麻烦!
2、实现哨兵模式的配置其实是很麻烦的,里面有很多选择!
哨兵模式的全部配置
1、端口配置
2、工作目录
3、配置监控的节点
4、配置延迟操作
5、故障转移操作
Redis缓存穿透和雪崩
redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面,但同时,它也带来了一些问题,其中,最要害的问题,就是数据的一致性问题,从严格意义上来讲,这个问题无解,如果是对数据的一致性要求很高,那么就不能使用缓存。
另外的一些典型问题是:缓存穿透,缓存雪崩和缓存击穿,目前,业内也都有比较流行的解决方案!
缓存穿透
概念
缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询,发现也没有,于是本次查询失败,当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库,这会给持久层数据库造成很大的压力,这时候相当于出现了缓存穿透。
解决方案
布隆过滤器
布隆过滤器是一种数据结构,对所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃,从而避免了对底层存储系统的查询压力;
缓存空对象
会存在两个问题
1、如果空值能够被缓存起来,这就意味着缓存需要更多的空间存储更多的键,因为这当中可能会有很多空值的键;
2、即使对空值设置了过期时间,还是会存在缓存层和存储层的数据一段时间窗口的不一致,这对于需要保存一致性的业务有影响。
缓存击穿
这里我们需要注意跟缓存穿透的一个区别,缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿透缓存,直接请求数据库,就像在一个屏幕上凿开一个洞。当某个key在过期的瞬间,有大量的请求并发访问,这类数据一般是热点数据,由于缓存过期,会同时访问数据库来查询信息,并且回写缓存,会导致数据库瞬间压力过大。
解决方案
设置热点数据永不过期
从缓存层面来看,没有设置过期时间,所以不会出现热点key过期后产生的问题。
加互斥锁
分布式锁:使用分布式锁,保证对于每个key同时只有一个线程去查询后端服务,其它线程没有获得分布式锁的权限,因此只需要等待即可,这种方式将高并发的压力转移到了分布式锁。因此对分布式锁的考验很大。
缓存雪崩
概念
缓存雪崩,是指在某一个时间段,缓存集中过期失效。
产生雪崩的原因之一,比如写文本的时候,马上就要到双十二零点,很快就会迎来一波抢购,这波商品时间比较集中的放入了缓存,假设缓存一个小时,那么到了凌晨一点钟的时候,这批商品的缓存就都过期了,而对这批商品的访问查询,都落到了数据库上,对于数据库而言,就会产生周期性的压力波峰,于是所有的请求都会达到存储层,存储层的调用量暴增,造成存储层也会挂掉的情况。
其实其中过期,倒不是非常致命,比如致命的缓存雪崩,是缓存服务器某个节点宕机或断网,因为自然形成的缓存雪崩,一定是在某个时间段集中创建缓存,这个时候,数据库也是可以顶住压力的,无非就是对数据库产生周期性的压力而已,而缓存服务节点的宕机,对数据库服务器的压力是不可预知的,很有可能瞬间就把数据库压垮、
解决方案
redis高可用
这个思想含义是:既然redis有可能挂掉,那我多增设几台redis,这样一台挂掉之后其他的还可以继续工作,其实就是搭建的集群。
限流降级
这个解决方案的思想是,在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量,比如对某个key只允许一个线程查询数据和写缓存,其它线程等待。
数据预热
数据加热的含义是在正式部署之前,我先把可能的数据先预先访问一遍,这样部分可能大量访问的数据就会加载到缓存中,在即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间,让缓存失效的时间点尽量均匀。