高可用Mysql架构_Mysql主从复制、解决主从数据一致性的问题、Mysql双主热备、Mysql双主双从、Mysql读写分离(Mycat中间件)、Mysql分库分表架构(Mycat中间件)的演变
【Mysql主从复制】
解决的问题
数据分布:比如一共150台机器,分别往电信、网通、移动各放50台,这样无论在哪个网络访问都很快。其次按照地域,比如国内国外,北方南方,这样地域性访问解决了。
负载均衡:Mysql读写分离,读写分开了,解决了部分服务器的压力,均衡分开。
数据备份:比如100台机器,实际数据是一样的,这样可以说每台机器都是数据备份。
高可用性和容错性:1台机器挂掉了无所谓,因为还有99台机器。
实现原理:
提到主从同步的原理,我们就需要了解在数据库中的一个重要日志文件,那就是 Binlog 二进制日志,它记录了对数据库进行更新的事件。实际上主从同步的原理就是基于 Binlog 进行数据同步的。在主从复制过程中,会基于 3 个线程来操作,一个主库线程,两个从库线程。
二进制日志转储线程(Binlog dump thread)是一个主库线程。当从库线程连接的时候,主库可以将二进制日志发送给从库,当主库读取事件的时候,会在 Binlog 上加锁,读取完成之后,再将锁释放掉。
从库 I/O 线程会连接到主库,向主库发送请求更新 Binlog。这时从库的 I/O 线程就可以读取到主库的二进制日志转储线程发送的 Binlog 更新部分,并且拷贝到本地形成中继日志(Relay log)。
从库 SQL 线程会读取从库中的中继日志,并且执行日志中的事件,从而将从库中的数据与主库保持同步。
实现步骤:
Master将改变日志记录到二进制日志中(binary log), 再然后Slave重做中继日志中的事件,将改变反应它自己的数据,也就是执行一遍日志。
流程图解说:
首先,如果主机有数据改变,会写到主机的bin-log日志中,然后从机会监听主机的bin-log日志,这时候会读主机的bin-log,然后写入自己(从机)的relay-log(中继日志)中,然后再从中继日志中读出来执行SQL事件。这样就会执行了主机的SQL操作。
所以你能看到主从同步的内容就是二进制日志(Binlog),它虽然叫二进制日志,实际上存储的是一个又一个事件(Event),这些事件分别对应着数据库的更新操作,比如 INSERT、UPDATE、DELETE 等。另外我们还需要注意的是,不是所有版本的 MySQL 都默认开启服务器的二进制日志,在进行主从同步的时候,我们需要先检查服务器是否已经开启了二进制日志。
进行主从同步的内容是二进制日志,它是一个文件,在进行网络传输的过程中就一定会存在延迟(比如 500ms),这样就可能造成用户在从库上读取的数据不是最新的数据,也就是主从同步中的数据不一致性问题。比如我们对一条记录进行更新,这个操作是在主库上完成的,而在很短的时间内(比如 100ms)又对同一个记录进行了读取,这时候从库还没有完成数据的更新,那么我们通过从库读到的数据就是一条旧的记录。
如何解决主从同步数据一致性的问题
开始搭建主从复制
192.168.9.164 主服务器,读操作在164
192.168.9.165 从服务器,写操作在165
因为主需要开启bin-log,从服务器需要监听主服务器的bin-log,那么首先去主服务器开启bin-log。
先编辑主服务器164的Mysql配置文件
#vim /etc/my.cnf //对照下面三行
log_bin = mysql-bin #是开启的
binlog_format = mixed #日志文件名称
Server-id = 164 #以为server-id是惟一的,用ip最合适。
先去mysql数据的存放目录,如果不知道的情况下,可以在/etc/my.cnf中查看 datadir的位置datadir = /data/mysql
看到这些文件,就是mysql的binlog文件,说明bin-log已经开启,重启Mysql服务。
然后进入主服务器客户端,执行命令查看主服务器状态
MySQL [(none)]> show master status;
然后配置从服务器:
同样编辑/etc/my.cnf文件,把server-id修改一下,暂时把两个选项注释掉,还需要加一个relay-log(中继日志)
#vim /etc/my.cnf
#log_bin = mysql-bin
#binlog_format = mixed
relay_log = mysql-relay-bin
Server-id = 165 #以为server-id是惟一的,用ip最合适。
配置为重启Mysql。
下面就需要让从服务器监听主服务器的bin-log日志文件,这样需要做的话就是主服务器允许授权。先去主服务器授权,回到164主服务器mysql客户端执行命令授权,
MySQL [(none)]> grant replication slave on *.* to slave@192.168.9.165 identified by '123456';
MySQL [(none)]> flush privileges; //刷新权限
这句话的意思是,允许slave这个用户通过密码123456在192.168.9.165这台服务器上访问164这台master。这时候就可以允许165监听164的bin-log了。
进入从服务器,先确定从服务器是否能ping的通主服务器。然后进入从服务器客户端,设定要监听的机器。进入从服务器mysql客户端习惯性执行 stop slave 命令。
然后准备在从服务器mysql客户端执行授权命令,but,在执行之前先看看主服务器的状态
这里由154变成了602,因为刚才在主服务器执行过命令。
MySQL [(none)]> change master to
-> master_host='192.168.9.164',
-> master_port=3306,
-> master_user='slave',
-> master_password='123456',
-> master_log_file='mysql-bin.000001',
-> master_log_pos=450;
MySQL [(none)]> start slave; //OK没问题的话,开启监听。
MySQL [(none)]> show slave status\G; //查看状态
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.9.164
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 450
Relay_Log_File: mysql-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000004
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 629
Relay_Log_Space: 527
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
Master_UUID: d8d23a1f-341f-11e8-8102-000c29f3aa69
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
然后在主服务器做相应的Mysql增删改,同样再查看一下从服务器的数据,都发生了相应的变化~
检查主从复制通信状态
Slave_IO_State #从站的当前状态
Slave_IO_Running: Yes #读取主程序二进制日志的I/O线程是否正在运行
Slave_SQL_Running: Yes #执行读取主服务器中二进制日志事件的SQL线程是否正在运行。与I/O线程一样
Seconds_Behind_Master #是否为0,0就是已经同步了
必须都是 Yes
如果不是原因主要有以下 4 个方面:
1、网络不通
2、密码不对
3、MASTER_LOG_POS 不对 ps
4、mysql 的 auto.cnf server-uuid 一样(可能你是复制的mysql)
$ find / -name 'auto.cnf'
$ cat /data/mysql/auto.cnf
[auto]
server-uuid=6b831bf3-8ae7-11e7-a178-000c29cb5cbc # 按照这个16进制格式,修改server-uuid,重启mysql即可
OK,这样主从复制的架构就配置完成了。但是别着急,接着往下看。
现有架构问题
现有架构问题有一个Master,可以扩展多个Slave,如果Master挂掉,那么影响现有的架构,如果Master一旦挂掉,写数据不知道往哪里写了,Slave也会失去监听的Master。
解决问题
给现有的Master再去备份另外的Master,这可以实现心跳感应,其中一个Master挂掉,切换到另外一个Master。
【Mysql双主热备】
流程图解说:
现在要做的是让Slave也作为Master,首先给Slave也开启bin-log,也就是做主机的话,必须开启bin-log。而且要开始log_slave_updates,这个配置代表的是,当我们的relay_log发生改变的时候,它会通过log_slave_updates写入到从机的bin-log日志中,也就是说实现了Slave中的bin-log和Master的bin-log日志同步,保证数据一致。然后再让Master监听Slave的bin-log,这样的话必须Master也必须开启relay-log,让它作为Slave的从,这样Master和Slave互为主从。这样我们往其中任意一台数据库写数据,另外一个数据也会发生相应改变,其中一个挂掉,我们另外一个机器可以作为主机提供服务,最终达到双主热备。
达到的架构图:
两个Master,双主。然后各自的Master都有各自的Slave集群,其中一个Master挂掉,另一个Master可以提供服务,并且下面还有很多Slave,然后可以将挂掉的Master下面的Slave切换到正常的Mater上。
开始搭建双主热备
现在要做的是把Slave作为主,需要开启Slave的bin-log,编辑从机的配置文件
#vim /etc/my.cnf //按照下面的配置
log_bin = mysql-bin
binlog_format = mixed
relay_log = mysql-relay-bin
log_slave_updates = 1 #表示将relay通过这样的配置写入到bin-log中,主挂掉,从立马作为主上位。
Server-id = 165 #以为server-id是惟一的,用ip最合适。
配置完之后重启从机的Mysql服务,这样从就有作为主的能力。
接下来给主机授权,Slave要让主监听从的bin-log,刚才是在主给从授权,现在是在从给主授权
grant replication slave on *.* to master@192.168.9.164 identified by 'wt000000';
授权完成之后,让主机监听从机
编辑主机的配置文件,加上
# vim /etc/y.cnf //按照下面的配置在主机加上
relay_log = mysql-relay-bin
log_slave_updates = 1 #同理
下面重启主的Mysql服务器。
接下来做的就是让之前的主来监听从了。
进入从的Mysql终端,查看作为Master的状态,进入终端先执行reset master命令,再查看状态
接下来就可以在192.168.9.164(之前的主机)上执行change master to命令了。
MySQL [(none)]> change master to
-> master_host='192.168.9.165',
-> master_user='master',
-> master_password='wt000000',
-> master_log_file='mysql-bin.000001',
-> master_log_pos=154;
此时,164就成了165的从了。然后执行命令
MySQL [(none)]> start slave;
MySQL [(none)]> show slave status\G
MySQL [(none)]> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.9.165
Master_User: master
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 154
Relay_Log_File: mysql-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes //ok
Slave_SQL_Running: Yes //ok
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 154
Relay_Log_Space: 527
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 165
Master_UUID: 6b831bf3-8ae7-11e7-a178-000c29cb5cbc
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
现在两台分别是对方的主,也是对方的从。检查一下状态,没问题~
然后分别在主和从修改数据,每次的修改发现,两个服务器都会发生相应的变化。OK~双主热备配置完成~只有从还不是很完善,往下面接着看。
要实现每个主服务器下面都有从服务器。
【双主双从】
192.168.9.164 //原Master(一主)
192.168.9.165 //原Slave(二主)
192.168.9.166 //做为192.168.9.164的从
192.168.9.167 //做为192.168.9.165的从
分别编辑两个新从机的配置文件
编辑192.168.9.166的Mysql配置文件
#og_bin = mysql-bin
#binlog_format = mixed
relay_log = mysql-relay-bin
Server-id = 166 #以为server-id是惟一的,用ip最合适。
编辑192.168.9.167的Mysql配置文件
#log_bin = mysql-bin
#binlog_format = mixed
relay_log = mysql-relay-bin
Server-id = 167 #以为server-id是惟一的,用ip最合适。
接下来分别给两个新从机授权
先让192.168.9.164给192.168.9.166授权。
进入192.168.9.164的Mysql客户端授权。
MySQL [hb]> grant replication slave on *.* to slave166@192.168.9.166 identified by 'wt000000';
然后查看本机的Master状态
然后进入从机192.168.9.166,执行change master 命令
MySQL [(none)]> change master to
-> master_host='192.168.9.164',
-> master_user='slave166',
-> master_password='wt000000',
-> master_log_file='mysql-bin.000005',
-> master_log_pos=1034;
Query OK, 0 rows affected, 2 warnings (0.01 sec)
MySQL [(none)]> start slave;
MySQL [(none)]> show slave status\G
MySQL [(none)]> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.9.164
Master_User: slave166
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 1034
Relay_Log_File: mysql-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 1034
Relay_Log_Space: 527
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 164
Master_UUID: d8d23a1f-341f-11e8-8102-000c29f3aa69
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
再让192.168.9.165给192.168.9.167授权。
这里就不重复说明了。。。。
OK,每个主服务器的从服务器也搭建完成了。。经过测试,操作其中一台主机的数据库,其他三个服务器的数据库数据也跟着发生相应的变化~
【补充】
至此我们mysql服务器的主从复制架构已经完成,但是我们现在的主从架构并不完善,因为我们的从服务上还可以进行数据库的写入操作,一旦用户把数据写入到从服务器的数据库内,然后从服务器从主服务器上同步数据库的时候,会造成数据的错乱,从而会造成数据的损坏,所以我们需要把从服务器设置成只读~如果加入了Mycat中间件,在主从架构中,如果主库宕机的情况下,从库也要立马做主库角色,那么这里最好也是关掉。方法如下:
注意:read-only = ON ,这项功能只对非管理员组以为的用户有效!
注意:read-only = ON ,这项功能只对非管理员组以为的用户有效!
上图查看出没有开启只读。那么我们修改从服务器的配置文件my.cnf,加一行代码
read-only = ON
添加完成之后重启服务即可。
注意,mysql主从架构中,从服务器要比主服务器速度慢是正常的,因为主服务器是并行的,从服务器是队列逐行执行命令操作。(特别是在事务操作中,首先会把执行事务的操作放到缓存区,然后执行成功之后才会把日志写入主服务器日志,然后主服务器把日志发送给从服务器,从服务器中继日志存储后,再逐行读取操作从服务器),Mysql默认是异步的。
事务安全配置:
比如,在主服务器上,某一个事务已经提交了,这个事务提交相关的二进制日志应该写进日志文件,二进制日志有缓冲区,意味着事务提交有些事件在缓冲区没有写进二进制日志,万一这个时候主服务器崩溃了,从服务器得不到相关的事件,那么从服务器实现不了将事务完整的结束,所以在主服务器完成的事务,从服务器有可能完成不了,如果我们能让主服务器的事务一提交,那么立即写到从服务器中,不在缓冲区停留,那么就会降低主从不一致的可能性。那么在主服务器怎么配置呢?
SHOW VARIABLES LIKE 'log%';
找到sync_binlog,为了事务安全,启动该选项
-----------------------------------------------------------
要注意的是,在确定完从库之后,要保证从服务器和主服务器的数据一致性,需要在备份主数据库数据之前,先临时锁定主数据库,保证数据一致性。
flush tables with read lock;
另外要注意的是,如果涉及到函数或者存储过程的复制,需要在/etc/my.cnf中的[mysqld]段中增加配置log_bin_trust_function_creators=true,或者在客户端设置set_log_bin_trust_function_creators =1
【Mysql读写分离】
配置读写分离在这里用的是中间件Mycat,下面简单介绍。官方地址:http://www.mycat.io/
Mycat特性
支持SQL92标准
支持Mysql、Oracle、DB2、SQL Server、PostgreSQL等数据库的常见SQL语法
遵循Mysql原生协议,跨语言、跨平台夸数据库通用中间件代理
基于心跳检查自动故障切换、支持读写分离、支持主从复制、支持分库分表等
下面开始在新的服务器下载安装Mycat,这里的IP是192.168.9.168。
下载安装Mycat
# cd /usr/local/src
# wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
# tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
# mv mycat/ /usr/local/mycat
一步步配置Mycat
进入conf目录下,查看一下文件里列表,需要配置的仅仅是这两个文件
# vim server.xml //编辑server.xml文件,按照如下配置" root">"password">123456 "schemas">mydb
# vim schema.xml //对应下面的配置
" mydb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">"dn1" dataHost="localhost1" database="hb4" /> "localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100"> show slave status "hostM1" url="192.168.9.164:3306" user="mycat" password="123456" > "hostS1" url="192.168.9.166:3306" user="mycat" password="123456" /> "hostM2" url="192.168.9.165:3306" user="mycat" password="123456" > "hostS2" url="192.168.9.167:3306" user="mycat" password="123456" />
配置完成之后开启mycat服务
[root@localhost mycat]# bin/mycat start //命令启动
Starting Mycat-server...
[root@localhost mycat]# bin/mycat status //命令查看状态
Mycat-server is running (3593).
[root@localhost mycat]# netstat -tunlp | grep 8066 //查看端口
tcp 0 0 :::8066 :::* LISTEN 3595/java
授权配置
MySQL [hb4]> grant insert,update,delete,select on *.* to mycat@192.168.9.168 identified by '123456'; //在两台主服务器的Mysql终端分别执行
MySQL [hb4]> grant select on *.* to mycat@192.168.9.168 identified by '123456'; //在两台从服务器Mysql终端分别执行
确定启动成功,接下来通过项目开发机链接一下试试
# mysql -uroot -p123456 -h192.168.9.168 -P8066
MySQL [(none)]> show databases;
+----------+
| DATABASE |
+----------+
| mydb |
+----------+
1 row in set (0.01 sec)
然后在之前的主机上操作数据表,然后通过此链接继续查看数据表,数据也发生了相应的变化。这样我们在项目中连接的Mysql地址端口做好更改,那么就连接到了mycat服务器了。然后分别在两台主服务器做写入测试;在开发机链接做读数据测试。再分别查看mycat目录下logs目录下的mycat.log文件,发现不同的读写分发到不同的服务器~最后试着挂掉一台服务器,重新做写操作,和查询操作,随时跟踪每台服务器的数据和mycat.log日志。发现,ok~没任何问题!
【Mysql分库分表】
如果数据量达到了亿级别,那么这样管理的话,压力会很大,解决这个问题可以把库里数据量比较大的表给单独分散,分散到其他库中,这样库承受的压力就会小很多了。拿一个表做演示
确定要分库的表
拿库里的hp_user来演示,首先查看一下表结构。
MySQL [hb4]> show create table hp_user;
| hp_user | CREATE TABLE `hp_user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(20) DEFAULT NULL COMMENT '用户名',
`nickname` varchar(40) DEFAULT NULL COMMENT '用户昵称',
`password` varchar(40) DEFAULT NULL COMMENT '密码',
`email` varchar(40) DEFAULT NULL COMMENT '邮箱',
`avatar` varchar(150) DEFAULT NULL COMMENT '头像',
`zip_avatar` varchar(150) DEFAULT NULL COMMENT '压缩头像',
`birthday` int(11) DEFAULT '0' COMMENT '出生日期',
`gender` tinyint(4) DEFAULT '1' COMMENT '性别, 1:男, 2:女',
`slogan` varchar(255) NOT NULL DEFAULT '' COMMENT '标语',
`level` tinyint(4) DEFAULT NULL COMMENT '等级',
`total_score` int(11) DEFAULT '0' COMMENT '用户的积分总额',
`score` int(11) NOT NULL DEFAULT '0' COMMENT '积分',
`freeze_score` int(11) NOT NULL DEFAULT '0' COMMENT '购买商品时冻结积分',
`point` int(11) DEFAULT '0' COMMENT '点数(预留)',
`invite_code` char(6) DEFAULT NULL COMMENT '邀请码(自己的)',
`invite_by` int(11) NOT NULL DEFAULT '0' COMMENT '被邀请id(user_info.id)',
`status` tinyint(4) DEFAULT '1' COMMENT '用户状态, 1:可用, 0: 不可用',
`create_time` int(11) DEFAULT NULL COMMENT '创建时间',
`register_ip` varchar(20) CHARACTER SET utf8mb4 DEFAULT NULL COMMENT '注册ip',
`login_time` int(11) DEFAULT NULL COMMENT '登录时间',
`forbidden_time` int(11) DEFAULT NULL COMMENT '禁用时间',
`operator_id` int(11) DEFAULT '0' COMMENT '操作人',
`is_delete` tinyint(4) DEFAULT '0' COMMENT '是否删除',
`reason` varchar(100) DEFAULT NULL COMMENT '审核不通过请备注原因',
`is_examine` tinyint(4) DEFAULT '0' COMMENT '是否通过,1:否,0:是',
`token` varchar(32) DEFAULT NULL COMMENT '用户token',
`alipay_code` varchar(255) DEFAULT '' COMMENT '支付宝账户',
`alipay_name` varchar(255) DEFAULT '' COMMENT '支付宝名字',
`wx_id` char(50) NOT NULL DEFAULT '' COMMENT '微信oppenid',
`level_time` varchar(20) NOT NULL COMMENT '成为等级时间',
`assessment_time` varchar(20) NOT NULL COMMENT '上次考核时间',
`level_type` int(11) NOT NULL COMMENT '等级状态1首次2不是首次',
PRIMARY KEY (`id`),
UNIQUE KEY `username` (`username`),
KEY `invite_code` (`invite_code`),
KEY `status` (`status`) USING BTREE,
KEY `is_delete` (`is_delete`) USING BTREE,
KEY `invite_by` (`invite_by`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户信息表' |
创建要分的三个库的对应的表
MySQL [hb4]> create database user_db1;
Query OK, 1 row affected (0.00 sec)
MySQL [hb4]> create database user_db2;
Query OK, 1 row affected (0.10 sec)
MySQL [hb4]> create database user_db3;
Query OK, 1 row affected (0.02 sec)
创建好库之后,分别use 三个库,复制建表语句,创建数据表,以后有数据需要往表里写了,那么做一个hash处理,做分配,将入库数据分散开,减小单库压力。
配置分库分表
#vim schemaxml //对应好下面的配置
这样配置完毕,但是在做分片数据之前,思考一下,插入数据的时候怎么能保证不发生冲突呢?也就是说,比如第一条数据进入user_db1这个库,数据主键id从1开始,第二条的时候进入user_db2,也是从1开始,将来查的时候肯定会查出多条id为1的,怎么避免呢?可以在插入的时候指定id,如果不指定主键id呢?
mycat提供了一个自动生成主键id的配置解决这个问题。
找到conf下的rule.xml,每个tableRule就代表一个规则。
找到sharding-by-murmur,一致性哈希。
# vim rulexml //对应配置
id
murmur
vim server.xml //对应配置
2 //默认是2,改为0,0代表本地文件进行配置
# vim sequence_conf.properties //
#default global sequence //这里是自带的说明
GLOBAL.HISIDS= //隐藏的
GLOBAL.MINID=10001 //最小id
GLOBAL.MAXID=20000 //最大id
GLOBAL.CURID=10000 //当前id
# self define sequence
#配置自己的 //这里是配置的user节点
USER.HISIDS=
USER.MINID=10001
USER.MAXID=20000
USER.CURID=10000
配置好重启mycat。
数据测试
执行SQL还是在项目服务器上,之前连接Mycat的服务器终端执行SQL
INSERT INTO `hp_user` (
`id`,
`username`,
`nickname`,
`password`,
`email`,
`avatar`,
`zip_avatar`,
`birthday`,
`gender`,
`slogan`,
`level`,
`total_score`,
`score`,
`freeze_score`,
`point`,
`invite_code`,
`invite_by`,
`status`,
`create_time`,
`register_ip`,
`login_time`,
`forbidden_time`,
`operator_id`,
`is_delete`,
`reason`,
`is_examine`,
`token`,
`alipay_code`,
`alipay_name`,
`wx_id`,
`level_time`,
`assessment_time`,
`level_type`
)
VALUES
(
next value for MYCATSEQ_USER, //这里一定要注意,是mycat的哈希规则
'12323232323',
'测试用户9',
'14e1b600b1fd579f47433b88e8d85291',
NULL,
'[\"\\/upload\\/2017\\/03\\/29\\/2eqcj0jh10skfgtv.jpg\"]',
'[\"\\/upload\\/2017\\/03\\/29\\/zip_2eqcj0jh10skfgtv.jpg\"]',
'19910201',
'1',
'nonononononononononononononononono',
'2',
'111117',
'111117',
'0',
'0',
'PRNLT',
'66',
'1',
'1483002221',
'124.202.200.186',
'1483002221',
NULL,
'0',
'0',
NULL,
'0',
'6b05171019a33823aa182364a1e643fa',
'18798048650',
'测试9',
'',
'1496723153',
'',
'0'
);
写入4条数据,然后查看。
MySQL [mydb]> select id,username,nickname,password,email,alipay_name from hp_user;
+-------+-------------+---------------+----------------------------------+-------+---+
| id | username | nickname | password | email | alipay_name |
+-------+-------------+---------------+----------------------------------+-------+---+
| 10006 | 13434343434 | 测试用户6 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试6 |
| 10008 | 14455554444 | 测试用户8 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试8 |
| 10007 | 16565656565 | 测试用户7 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试7 |
| 10009 | 12323232323 | 测试用户9 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试9 |
+-------+-------------+---------------+----------------------------------+-------+----+
然后再在真实数据库服务器上(主库)查看真实数据
MySQL [user_db2]> use user_db3;
Database changed
MySQL [user_db3]> select id,username,nickname,password,email,alipay_name from hp_user;
Empty set (0.00 sec)
MySQL [user_db3]> select id,username,nickname,password,email,alipay_name from hp_user;
Empty set (0.00 sec)
MySQL [user_db3]> use user_db2;
Database changed
MySQL [user_db2]> select id,username,nickname,password,email,alipay_name from hp_user;
+-------+-------------+---------------+----------------------------------+-------+-------------+
| id | username | nickname | password | email | alipay_name |
+-------+-------------+---------------+----------------------------------+-------+-------------+
| 10006 | 13434343434 | 测试用户6 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试6 |
| 10008 | 14455554444 | 测试用户8 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试8 |
+-------+-------------+---------------+----------------------------------+-------+-------------+
2 rows in set (0.00 sec)
MySQL [user_db2]> use user_db1;
Database changed
MySQL [user_db1]> select id,username,nickname,password,email,alipay_name from hp_user;
+-------+-------------+---------------+----------------------------------+-------+-------------+
| id | username | nickname | password | email | alipay_name |
+-------+-------------+---------------+----------------------------------+-------+-------------+
| 10007 | 16565656565 | 测试用户7 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试7 |
| 10009 | 12323232323 | 测试用户9 | 14e1b600b1fd579f47433b88e8d85291 | NULL | 测试9 |
+-------+-------------+---------------+----------------------------------+-------+-------------+
2 rows in set (0.00 sec)
OK~配置完毕