Mysql 索引

索引的目的在于提高查询效率

一 索引分类

1、普通索引　　index

　　加速查询

2、唯一索引

　　2.1、主键索引　　primary key　

　　　　加速查询+约束（不为空且唯一）

　　2.2、唯一索引　　unique

　　　　加速查询+约束（唯一）

3、联合索引

　　-- index(id,name) 联合普通索引

　　-- primary key(id,name) 联合主键索引

　　-- unique(id,name) 联合唯一索引

4、全文索引　　fulltext

　　用于搜索很长文章的时候效果最好。

5、空间索引　　spatial

二 索引类型

# 我们可以在创建索引的时候，为其指定索引类型，分两类

　　1、hash类型

　　　　查询单条快，范围查询慢

　　2、btree类型 B+树

　　　　b+树，层级越多，数据量指数级增长

#不同的存储引擎支持的索引类型也不一样

　　InnoDB 支持事务，支持行级别锁定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；

　　MyISAM 不支持事务，支持表级别锁定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；

　　Memory 不支持事务，支持表级别锁定，支持 B-tree、Hash 等索引，不支持 Full-text 索引；

　　NDB 支持事务，支持行级别锁定，支持 Hash 索引，不支持 B-tree、Full-text 等索引；

　　Archive 不支持事务，支持表级别锁定，不支持 B-tree、Hash、Full-text 等索引；

三 创建\删除索引的语法

1、创建索引

　　# 在创建表时就添加索引 及 注意事项

　　create table TABLE_NAME(

　　　　id int, # 可以添加primary key

　　　　# id int index, # 不可以这么添加索引，因为index是普通索引，没有约束一说，所以不能像主键索引和唯一索引那样在定义字段的时候加索引

　　　　name char(20),

　　　　age int,

　　　　email varchar(30)

　　　　# primary key(id) # 也可以为主键这样添加索引

　　　　# index(id) # 虽然不能在定义字段的同时添加普通索引，但是通过这种方式为字段添加普通索引

　　)；

　　# 在创建表之后添加索引

　　create index name on TABLE_NAME(name); # 添加普通索引

　　create unique age on TABLE_NAME(age); # 添加唯一索引

　　alter table TABLE_NAME add primary key(id); # 添加主键索引，也就是给id字段增减一个主键约束

　　create index name on TABLE_NAME(id,name); # 添加普通联合索引

2、删除索引

　　drop index name on TABLE_NAME; # 删除普通索引

　　drop index age on TABLE_NAME; # 删除唯一索引，就和普通索引一样，不用在index前加unique就可以删除

　　alter table TABLE_NAME drop promary key; # 删除主键（因为它添加的时候是按照alter来增加的，那么我们也用alter来删）

四 测试索引

1、准备表
　　create table TABLE_NAME(
　　　　id int,
　　　　name varchar(20),
　　　　gender char(6),
　　　　email varchar(50)
　　);

2、创建存储过程，实现批量插入记录
　　delimiter $$ #声明存储过程的结束符号为$$
　　create procedure auto_insert1()
　　BEGIN
　　　　declare i int default 1;
　　　　while(i<3000000)do
　　　　insert into s1 values(i,concat('egon',i),'male',concat('egon',i,'@oldboy'));
　　　　set i=i+1;
　　　　end while;
　　END$$ #$$结束
　　delimiter ; #重新声明分号为结束符号

3、查看存储过程
　　show create procedure auto_insert1\G

4、调用存储过程
　　call auto_insert1();

# 准备测试表　　
create table TEST_TABLE_SUOYIN(
    id int,
    name varchar(20),
    gender char(6),
    email varchar(50)
);

# 创建存储过程，实现批量插入记录
delimiter $$ #声明存储过程的结束符号为$$
create procedure auto_insert1()
BEGIN
    declare i int default 1;
    while(i<3000000)do
        insert into TEST_TABLE_SUOYIN values(i,concat('egon',i),'male',concat('egon',i,'@oldboy'));
        set i=i+1;
    end while;
END$$ #$$结束
delimiter ; #重新声明分号为结束符号

# 查看存储过程
show create procedure auto_insert1;

# 调用存储过程
call auto_insert1();


# 未添加索引
select * from TEST_TABLE_SUOYIN where id = 1000; # 1.287s
select * from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 100000; # 1.306s
select * from TEST_TABLE_SUOYIN where id>= 1000 and id <= 10000; # 1.337s
select * from TEST_TABLE_SUOYIN where name = 'egon1000'; # 1.392s
select * from TEST_TABLE_SUOYIN where id = 12000 and name = 'egon12000'; # 1.292s
select * from TEST_TABLE_SUOYIN where email = 'egon10002@oldboy'; # 1.424s
select * from TEST_TABLE_SUOYIN where gender = 'male' and email = 'egon10002@oldboy'; # 1.628s


# 添加主键索引 
alter table TEST_TABLE_SUOYIN add primary key(id);
# 添加普通索引 的两种方式
create index name on TEST_TABLE_SUOYIN(name);
alter table TEST_TABLE_SUOYIN add index(gender);
# 添加组合索引 的两种方式
create index i_id_name on TEST_TABLE_SUOYIN(id, name);
alter table TEST_TABLE_SUOYIN add index(name, gender, email);
# 添加唯一索引
alter table TEST_TABLE_SUOYIN add unique(email);


# 已添加索引
select id, name, gender, email from TEST_TABLE_SUOYIN where id = 1000; # 0.008s
select id, name, gender, email from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 100000; # 0.021s
select id, name, gender, email from TEST_TABLE_SUOYIN where id>= 1000 and id <= 10000; # 0.007s
select id, name, gender, email from TEST_TABLE_SUOYIN where name = 'egon1000'; # 0.008s
select id, name, gender, email from TEST_TABLE_SUOYIN where id = 12000 and name = 'egon12000'; # 0.007s
select id, name, gender, email from TEST_TABLE_SUOYIN where email = 'egon10002@oldboy'; # 0.007s
# index(name, gender, email) 仅添加这个组合索引
select id, name, gender, email from TEST_TABLE_SUOYIN where gender = 'male' and email = 'egon10002@oldboy'; # 0.000s 索引失效 未遵守最左前缀匹配原则
select id, name, gender, email from TEST_TABLE_SUOYIN where gender = 'male' and email = 'egon10002@oldboy' and name = 'egon10002'; # 0.001s 索引有效 遵守最左前缀匹配原则

# 索引无法命中的情况 %模糊查询
#      所以得出结论 %加在前面所以无法命中 只能加在后面才能够命中
select * from TEST_TABLE_SUOYIN where email like '%on10000@oldboy'; # 1.925s
select * from TEST_TABLE_SUOYIN where email like '%on10000@%'; # 1.940s
select * from TEST_TABLE_SUOYIN where email like 'egon10000@%'; # 0.008s

# 索引无法命中的情况  使用函数 
select * from TEST_TABLE_SUOYIN where REVERSE(email) = 'yobdlo@00001noge'; # 1.840s

# 索引无法命中的情况  or
#        在测试这个情况时 我删除了 gender 的索引；特别在于 or 前后的列有未添加索引的 索引才会失效；如果前后两个列都有索引，则索引生效
select * from TEST_TABLE_SUOYIN where id = 1000000 or gender = 'sss'; # 索引未命中
select * from TEST_TABLE_SUOYIN where id = 1000000 or email = 'egon1000000@oldboy'; # 索引命中

# 索引无法命中的情况  类型不一致
#        email的类型是字符串，如果查询的值类型不是字符串则不会命中索引
select * from TEST_TABLE_SUOYIN where email = 123; # 2.133s
select * from TEST_TABLE_SUOYIN where email = 'egon1000000@oldboy'; # 0.008s

# 索引无法命中的情况  !=
  # 因为数据量太大 所以无法直观的测出来
select * from TEST_TABLE_SUOYIN where id != 1; # 文章上说：主键的 != 会走索引
select * from TEST_TABLE_SUOYIN where email != 'egon1@oldboy'; # 反之则不会

# 索引无法命中的情况  > <
#        文章上说：主键或索引是整数类型的可以命中索引，但是实测字符也是可以命中的
select * from TEST_TABLE_SUOYIN where id > 2999999; # 0.002s
select * from TEST_TABLE_SUOYIN where id < 2; # 0.006s
select * from TEST_TABLE_SUOYIN where email > 'xxxx'; # 0.001s


# 索引无法命中的情况  ORDER BY
#            从第一次查询出来的结果看 查询 gender 的时间明显比 id 要久，所以 order by的条件列有索引 查询结果列 也需要有索引 才会命中索引 
#            但是如果对主键排序 则不看 结果列 是否有索引 也会命中索引
select gender from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 10000 order by name DESC; # 0.020s
select id from TEST_TABLE_SUOYIN where id BETWEEN 1000 and 10000 order by name DESC; # 0.005s 

# 索引无法命中的情况  最左前缀原则（组合索引）
#        比如 添加 index(a,b,c,d)这个组合索引 以下例子是否命中索引
select * from dual where c = 1 and d = 1 and b = 1 and a = 1; # 命中索引
select * from dual where c = 1 and d = 1 and b = 1; # 未命中索引 因为（a不在查询条件中，且a在组合索引种的第一位，所以之后的索引都不会命中）
SELECT * from dual where a = 1 and c = 1 and d = 1; # 仅只有a命中索引（b不在查询条件中，且b在组合索引种的第二位，所以之后的索引都不会命中）

# 索引无法命中的情况  count(?)
#        文章中说count(1) | count(列名) 代替 count(*) 这样会命中索引 但是实测下来 没有区别；
select count(*) from TEST_TABLE_SUOYIN; # 1.732s
select count(1) from TEST_TABLE_SUOYIN; # 2.060s
select count(id) from TEST_TABLE_SUOYIN; # 1.778s

# 索引无法命中的情况  添加索引时 如果列类型时text类型的，必须制定长度
create index index_name on table_name(title(19)) #text类型，必须制定长度


# 删除主键索引
alter table TEST_TABLE_SUOYIN drop PRIMARY key;
# 删除普通索引
drop index name on TEST_TABLE_SUOYIN;
drop index gender on TEST_TABLE_SUOYIN;
# 删除唯一索引
drop index email on TEST_TABLE_SUOYIN;
# 删除组合索引
drop index i_id_name on TEST_TABLE_SUOYIN;
drop index name_2 on TEST_TABLE_SUOYIN;

五 正确使用索引

1、覆盖索引

　　#分析

　　select * from TABLE_NAME where id=123;

　　该sql命中了索引，但未覆盖索引。

　　利用id=123到索引的数据结构中定位到该id在硬盘中的位置，或者说再数据表中的位置。

　　但是我们select的字段为*，除了id以外还需要其他字段，这就意味着，我们通过索引结构取到id还不够，

　　还需要利用该id再去找到该id所在行的其他字段值，这是需要时间的，很明显，如果我们只select id，

　　就减去了这份苦恼，如下

　　select id from TABLE_NAME where id=123;

　　这条就是覆盖索引了，命中索引，且从索引的数据结构直接就取到了id在硬盘的地址，速度很快

2、联合索引

　　create index ne on s1(name,email);#组合索引

3、索引合并

　　#索引合并：把多个单列索引合并使用

　　#分析：

　　组合索引能做到的事情，我们都可以用索引合并去解决，比如

　　create index ne on s1(name,email);#组合索引

　　我们完全可以单独为name和email创建索引

　　组合索引可以命中：

　　select * from s1 where name='egon' ;

　　select * from s1 where name='egon' and email='adf';

　　索引合并可以命中：

　　select * from s1 where name='egon' ;

　　select * from s1 where email='adf';

　　select * from s1 where name='egon' and email='adf';

　　乍一看好像索引合并更好了：可以命中更多的情况，但其实要分情况去看，如果是name='egon' and email='adf',

　　那么组合索引的效率要高于索引合并，如果是单条件查，那么还是用索引合并比较合理

4、添加索引遵循原则

　　#1、最左前缀匹配原则，非常重要的原则，

　　create index ix_name_email on s1(name,email,)

　　- 最左前缀匹配：必须按照从左到右的顺序匹配

　　select * from s1 where name='egon'; #可以

　　select * from s1 where name='egon' and email='asdf'; #可以

　　select * from s1 where email='alex@oldboy.com'; #不可以

　　mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配，

　　比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引，

　　d是用不到索引的，如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调整。

　　#2、=和in可以乱序，比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序，mysql的查询优化器会帮你优化成索引可以识别的形式

　　#3、尽量选择区分度高的列作为索引,区分度的公式是count(distinct col)/count(*)，

　　表示字段不重复的比例，比例越大我们扫描的记录数越少，唯一键的区分度是1，而一些状态、性别字段可能在大数据面前区分度就是0，那可能有人会问，这个比例有什么经验值吗？使用场景不同，

　　这个值也很难确定，一般需要join的字段我们都要求是0.1以上，即平均1条扫描10条记录

　　#4、索引列不能参与计算，保持列“干净”，比如from_unixtime(create_time) = ’2014-05-29’

　　就不能使用到索引，原因很简单，b+树中存的都是数据表中的字段值，但进行检索时，需要把所有元素都应用函数才能比较，显然成本太大。所以语句应该写成create_time = unix_timestamp(’2014-05-29’);

　　最左前缀示范

select * from s1 where id>3 and name='egon' and email='alex333@oldboy.com' and gender='male';

create index idx on s1(id,name,email,gender); #未遵循最左前缀

select * from s1 where id>3 and name='egon' and email='alex333@oldboy.com' and gender='male';

drop index idx on s1;

create index idx on s1(name,email,gender,id); #遵循最左前缀

select * from s1 where id>3 and name='egon' and email='alex333@oldboy.com' and gender='male';

 1 最左前缀匹配
 2 index(id,age,email,name)；
 3 #条件中一定要出现id(只要出现id就会提升速度)
 4 id
 5 id age
 6 id email
 7 id name
 8 
 9 email #不行  如果单独这个开头就不能提升速度了
10 mysql> select count(*) from s1 where id=3000;
11 +----------+
12 | count(*) |
13 +----------+
14 |        1 |
15 +----------+
16 1 row in set (0.11 sec)
17 
18 mysql> create index xxx on s1(id,name,age,email);
19 Query OK, 0 rows affected (6.44 sec)
20 Records: 0  Duplicates: 0  Warnings: 0
21 
22 mysql>  select count(*) from s1 where id=3000;
23 +----------+
24 | count(*) |
25 +----------+
26 |        1 |
27 +----------+
28 1 row in set (0.00 sec)
29 
30 mysql>  select count(*) from s1 where name='egon';
31 +----------+
32 | count(*) |
33 +----------+
34 |   299999 |
35 +----------+
36 1 row in set (0.16 sec)
37 
38 mysql>  select count(*) from s1 where email='egon3333@oldboy.com';
39 +----------+
40 | count(*) |
41 +----------+
42 |        1 |
43 +----------+
44 1 row in set (0.15 sec)
45 
46 mysql>  select count(*) from s1 where id=1000 and email='egon3333@oldboy.com';
47 +----------+
48 | count(*) |
49 +----------+
50 |        0 |
51 +----------+
52 1 row in set (0.00 sec)
53 
54 mysql>  select count(*) from s1 where email='egon3333@oldboy.com' and id=3000;
55 +----------+
56 | count(*) |
57 +----------+
58 |        0 |
59 +----------+
60 1 row in set (0.00 sec)
建联合索引，最左匹配

索引无法命中的情况需要注意：

- like '%xx'
    select * from tb1 where email like '%cn';
    
    
- 使用函数
    select * from tb1 where reverse(email) = 'wupeiqi';
    
    
- or
    select * from tb1 where nid = 1 or name = 'seven@live.com';
    
    
    特别的：当or条件中有未建立索引的列才失效，以下会走索引
            select * from tb1 where nid = 1 or name = 'seven';
            select * from tb1 where nid = 1 or name = 'seven@live.com' and email = 'alex'
            
            
- 类型不一致
    如果列是字符串类型，传入条件是必须用引号引起来，不然...
    select * from tb1 where email = 999;
    
普通索引的不等于不会走索引
- !=
    select * from tb1 where email != 'alex'
    
    特别的：如果是主键，则还是会走索引
        select * from tb1 where nid != 123
- >
    select * from tb1 where email > 'alex'
    
    
    特别的：如果是主键或索引是整数类型，则还是会走索引
        select * from tb1 where nid > 123
        select * from tb1 where num > 123
        
        
#排序条件为索引，则select字段必须也是索引字段，否则无法命中
- order by
    select name from s1 order by email desc;
    当根据索引排序时候，select查询的字段如果不是索引，则不走索引
    select email from s1 order by email desc;
    特别的：如果对主键排序，则还是走索引：
        select * from tb1 order by nid desc;
 
- 组合索引最左前缀
    如果组合索引为：(name,email)
    name and email       -- 使用索引
    name                 -- 使用索引
    email                -- 不使用索引


- count(1)或count(列)代替count(*)在mysql中没有差别了

- create index xxxx  on tb(title(19)) #text类型，必须制定长度

- 避免使用select *
- count(1)或count(列) 代替 count(*)
- 创建表时尽量时 char 代替 varchar
- 表的字段顺序固定长度的字段优先
- 组合索引代替多个单列索引（经常使用多个条件查询时）
- 尽量使用短索引
- 使用连接（JOIN）来代替子查询(Sub-Queries)
- 连表时注意条件类型需一致
- 索引散列值（重复少）不适合建索引，例：性别不适合

六 慢查询优化的基本步骤

　　0、先运行看看是否真的很慢，注意设置SQL_NO_CACHE

　　1、where条件单表查，锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起，单表每个字段分别查询，看哪个字段的区分度最高

　　2、explain查看执行计划，是否与1预期一致（从锁定记录较少的表开始查询）

　　3、order by limit 形式的sql语句让排序的表优先查

　　4、了解业务方使用场景

　　5、加索引时参照建索引的几大原则

　　6、观察结果，不符合预期继续从0分析