MySQL深分页问题四种方案解析

MySQL深分页问题四种方案解析

码农世界 2024-05-22 后端 67 次浏览 0个评论

mysql深分页问题:

        这个问题在实际项目中很常见,当数据量大以后,分页会非常的慢(几年前做过一个调度日志的分页查询,简直没法用)


深分页为什么慢

        前言:N个条件为索引,id为主键

        平常分页一般也是用的PageHelper插件,最终SQL就大致长这个样:

select id,name from table_name where N个条件 limit 100000,10;

它的执行流程:

  1. 先去二级索引过滤数据,然后找到主键ID
  2. 通过ID回表查询数据,取出需要的列
  3. 扫描满足条件的100010,丢弃前面100000条,返回

        这里很明显的不足就是,明明只需要拿10条,确多回表了100000次


优化

1. 通过子查询优化

优化回表次数

select id,name FROM table_name t1 where t1.id >= (select t2.id from table_name t2 where t2.update_time >= '2020-09-19' limit 100000, 1) LIMIT 10;

        流程:根据条件在二级索引进行匹配,得出结果ID后,外层查询再根据结果ID向后查10个即可

 

2. 通过 INNER JOIN 优化

优化回表次数

SELECT t1.id,t1.name FROM table_name t1 INNER JOIN (SELECT t2.id FROM table_name t2 WHERE t2.update_time >= '2020-09-19' ORDER BY t2.update_time LIMIT 100000, 10) AS t3 on t1.id= t3.id;

        上面两种方式其核心点都是 优化回表次数 这个角度去进行优化,但是扫描的行却并没有减少,下面有两种是从减少扫描行入手的方式,不过都有一定限制


3. 标签记录法

记录上次查询的最大ID,再请求下一页的时候

select id,name FROM table_name where id > 100000 order by id limit 10;

4. between...and...

select  id,name FROM table_name where id between 100000 and 100010 order by id;

局限性:依赖于连续自增的字段(如果不连续,可以order by 一下 )


补充

        标签记录法非常适合仅支持上下滑动翻页的场景[如何app商品列表、新闻资讯列表]

        子查询 以及 inner join优化适合与后台系统多条件分页

        之前在项目后台管理系统中采用的 标签记录法,根据条件快速定位到ID,然后再次根据条件向后扫描指定行数,前端也一并改造,禁止输入页数,仅允许点击下一页上一页[既然都出现深分页问题了,那业务也不需要支持使用者随意跳页,因为没有任何意义,他要跳到八千五百三十一页看什么呢?]

转载请注明来自码农世界,本文标题:《MySQL深分页问题四种方案解析》

百度分享代码,如果开启HTTPS请参考李洋个人博客
每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,67人围观)参与讨论

还没有评论,来说两句吧...

Top