如何解决mysql深分页问题

如何解决mysql深分页问题

日常需求开发过程中,相信大家对于limit一定不会陌生,但是使用limit时,当偏移量(offset)非常大时,会发现查询效率越来越慢。一开始limit 2000时,可能200ms,就能查询出需要的到数据,但是当limit 4000 offset 100000时,会发现它的查询效率已经需要1S左右,那要是更大的时候呢,只会越来越慢。

概括

本文将会讨论当mysql表大数据量的情况,如何优化深分页问题,并附上最近的优化慢sql问题的案例伪代码。

1、limit深分页问题描述

先看看表结构(随便举了个例子,表结构不全,无用字段就不进行展示了)

CREATE TABLE `p2p_detail_record` (  `id` varchar(32) COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT '主键',  `batch_num` int NOT NULL DEFAULT '0' COMMENT '上报数量',  `uptime` bigint NOT NULL DEFAULT '0' COMMENT '上报时间',  `uuid` varchar(64) COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT '会议id',  `start_time_stamp` bigint NOT NULL DEFAULT '0' COMMENT '开始时间',  `answer_time_stamp` bigint NOT NULL DEFAULT '0' COMMENT '应答时间',  `end_time_stamp` bigint NOT NULL DEFAULT '0' COMMENT '结束时间',  `duration` int NOT NULL DEFAULT '0' COMMENT '持续时间',  PRIMARY KEY (`id`),  KEY `idx_uuid` (`uuid`),  KEY `idx_start_time_stamp` (`start_time_stamp`) //索引,) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='p2p通话记录详情表';

假设我们要查询的深分页SQL长这样

select * from p2p_detail_record ppdr where ppdr .start_time_stamp >1656666798000 limit 0,2000

如何解决mysql深分页问题

查询效率是94ms,是不是很快?那如果我们limit 100000,2000呢,查询效率是1.5S,已经非常慢,那如果更多呢?

如何解决mysql深分页问题

2、sql慢原因分析

让我们来看看这条sql的执行计划

如何解决mysql深分页问题

也走到了索引,那为什么还是慢呢?我们先来回顾一下mysql 的相关知识点。

聚簇索引和非聚簇索引

聚簇索引: 叶子节点储存的是整行的数据。

非聚簇索引: 叶子节点储存的是整行的数据对应的主键值。

如何解决mysql深分页问题

使用非聚簇索引查询的流程

  • 通过非聚簇索引树,找到对应的叶子节点,获取到主键的值。

  • 再通过取到主键的值,回到聚簇索引树,找到对应的整行数据。(整个过程称为回表

回到这条sql为什么慢的问题上,原因如下

1、limit语句会先扫描offset+n行,然后再丢弃掉前offset行,返回后n行数据。也就是说limit 100000,10,就会扫描100010行,而limit 0,10,只扫描10行。这里需要回表100010次,大量的时间都在回表这个上面。

方案核心思路: 能不能事先知道要从哪个主键ID开始,减少回表的次数

常见解决方案

通过子查询优化

select * from p2p_detail_record ppdr where id >= (select id from p2p_detail_record ppdr2 where ppdr2 .start_time_stamp >1656666798000 limit 100000,1) limit 2000

相同的查询结果,也是10W条开始的第2000条,查询效率为200ms,是不是快了不少。

如何解决mysql深分页问题

标签记录法

标签记录法: 其实标记一下上次查询到哪一条了,下次再来查的时候,从该条开始往下扫描。类似书签的作用

select * from p2p_detail_record ppdrwhere ppdr.id > 'bb9d67ee6eac4cab9909bad7c98f54d4'order by id limit 2000备注:bb9d67ee6eac4cab9909bad7c98f54d4是上次查询结果的最后一条ID

使用标签记录法,性能都会不错的,因为命中了id索引。但是这种方式有几个缺点

  • 1、只能连续页查询,不能跨页查询。

  • 2、需要一种类似连续自增的字段(可以使用orber by id的方式)。

方案对比

  • 使用通过子查询优化的方式

优点: 可跨页查询,想查哪一页的数据就查哪一页的数据。

缺点: 效率不如标签记录法原因: 比如需要查10W条数据后,第1000条,也需要先查询出非聚簇索引对应的10W1000条数据,在取第10W开始的ID,进行查询。

  • 使用 标签记录法 的方式

优点: 查询效率很稳定,非常快。

缺点:

  • 不跨页查询,

  • 需要一种类似连续自增的字段

关于第二点的说明: 该点一般都好解决,可使用任意不重复的字段进行排序即可。若使用可能重复的字段进行排序的字段,由于mysql对于相同值的字段排序是无序,导致如果正好在分页时,上下页中可能存在相同的数据。

实战案例

需求: 需要查询查询某一时间段的数据量,假设有几十万的数据量需要查询出来,进行某些操作。

需求分析 1、分批查询(分页查询),设计深分页问题,导致效率较慢。

CREATE TABLE `p2p_detail_record` (  `id` varchar(32) COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT '主键',  `batch_num` int NOT NULL DEFAULT '0' COMMENT '上报数量',  `uptime` bigint NOT NULL DEFAULT '0' COMMENT '上报时间',  `uuid` varchar(64) COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT '会议id',  `start_time_stamp` bigint NOT NULL DEFAULT '0' COMMENT '开始时间',  `answer_time_stamp` bigint NOT NULL DEFAULT '0' COMMENT '应答时间',  `end_time_stamp` bigint NOT NULL DEFAULT '0' COMMENT '结束时间',  `duration` int NOT NULL DEFAULT '0' COMMENT '持续时间',  PRIMARY KEY (`id`),  KEY `idx_uuid` (`uuid`),  KEY `idx_start_time_stamp` (`start_time_stamp`) //索引,) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='p2p通话记录详情表';

伪代码实现

//最小ID String  lastId = null; //一页的条数 Integer pageSize = 2000; List<P2pRecordVo> list ;do{      list = listP2pRecordByPage(lastId,pageSize);    //标签记录法,记录上次查询过的Id    lastId = list.get(list.size()-1).getId();       //获取上一次查询数据最后的ID,用于记录   //对数据的操作逻辑   XXXXX(); }while(isNotEmpty(list));   <select id ="listP2pRecordByPage">     select *    from p2p_detail_record ppdr where 1=1   <if test = "lastId != null">   and ppdr.id > #{lastId}   </if>   order by id asc   limit #{pageSize}</select>

这里有个小优化点: 可能有的人会先对所有数据排序一遍,拿到最小ID,但是这样对所有数据排序,然后去min(id),耗时也蛮长的,其实名列前茅次查询,可不带lastId进行查询,查询结果也是一样。速度更快。

以上就是“如何解决mysql深分页问题”这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注亿速云行业资讯频道。

文章标题:如何解决mysql深分页问题,发布者:亿速云,转载请注明出处:https://worktile.com/kb/p/24642

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
亿速云的头像亿速云
上一篇 2022年9月13日 下午11:38
下一篇 2022年9月13日 下午11:39

相关推荐

  • 数据库加密有什么用

    数据库加密的主要用途包括:保护数据的安全性、防止未经授权的访问、满足法规要求、防止数据泄露、保证数据的完整性和可靠性。数据库加密是一种安全策略,它可以确保存储在数据库中的敏感信息不被未经授权的用户访问。如果没有正确的密钥,即使数据被盗,也无法解读加密的信息,从而极大地增强了数据的安全性。此外,数据库…

    2024年7月16日
    500
  • 数据库跳板是什么意思

    数据库跳板是一种在网络安全领域常见的术语,是指黑客通过某个已经被控制的数据库,跳转到其他的数据库或系统,以此进行进一步的攻击行为。具体来说,数据库跳板包括以下几个步骤:一、黑客首先找到一个安全漏洞较多、比较容易攻击的数据库,然后利用各种手段将其控制;二、控制后,黑客会在此数据库中植入恶意代码,使其成…

    2024年7月16日
    500
  • 数据库实现了些什么功能

    数据库实现了数据存储、数据检索、数据管理、数据完整性、数据安全、并发控制、备份与恢复等功能。在这些功能中,数据存储是最基础的功能,因为所有的数据操作都依赖于数据存储这一核心功能。数据存储确保了数据的持久化,能够在需要时进行读取和操作,而不会因为系统关闭或故障而丢失数据。数据库系统通过高效的数据存储机…

    2024年7月16日
    300
  • 电信数据库都做些什么工作

    电信数据库的主要工作包括数据存储、数据管理、数据分析、数据安全、数据备份和恢复、数据集成和数据挖掘。数据存储是其核心功能之一,确保大量用户信息、通话记录、账单数据等能够高效、安全地存储。数据管理涉及对这些数据的组织和维护,确保数据的准确性和一致性。数据分析则通过大数据技术对存储的信息进行深度挖掘,帮…

    2024年7月16日
    300
  • 启动数据库用什么软件好

    启动数据库,我们可以选择多种不同的软件,比如MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、SQLite等。每种数据库软件都有其独特的特性和适应的应用场景。例如,MySQL是最受欢迎的关系数据库管理系统,它具有开源、性能高效、成本低、可扩展性好等优点,被广泛应用…

    2024年7月16日
    300
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部