MySQL中流式查询及游标查询的方式是什么

MySQL中流式查询及游标查询的方式是什么

一、业务场景

现在业务系统需要从 MySQL 数据库里读取 500w 数据行进行处理

  • 迁移数据

  • 导出数据

  • 批量处理数据

二、罗列一下三种处理方式

  • 常规查询:一次性读取 500w 数据到 JVM 内存中,或者分页读取

  • 流式查询:每次读取一条加载到 JVM 内存进行业务处理

  • 游标查询:和流式一样,通过 fetchSize 参数,控制一次读取多少条数据

2.1 常规查询

默认情况下,完整的检索结果集会将其存储在内存中。在大多数情况下,这是最有效的操作方式,更易于实现。

假设单表 500w 数据量,没有人会一次性加载到内存中,一般会采用分页的方式。

在这里,测试demo中只是为了监控JVM,所以没有采用分页,一次性将数据载入内存中

@Testpublic void generalQuery() throws Exception {    // 1核2G:查询一百条记录:47ms    // 1核2G:查询一千条记录:2050 ms    // 1核2G:查询一万条记录:26589 ms    // 1核2G:查询五万条记录:135966 ms    String sql = "select * from wh_b_inventory limit 10000";    ps = conn.prepareStatement(sql);    ResultSet rs = ps.executeQuery(sql);    int count = 0;    while (rs.next()) {        count++;    }    System.out.println(count);}

JVM监控

我们将对内存调小-Xms70m -Xmx70m

整个查询过程中,堆内存占用逐步增长,并且最终导致OOM:

java.lang.OutOfMemoryError: GC overhead limit exceeded

1、频繁触发GC

2、存在OOM隐患

MySQL中流式查询及游标查询的方式是什么

2.2 流式查询

流式查询有一点需要注意:必须先读取(或关闭)结果集中的所有行,然后才能对连接发出任何其他查询,否则将引发异常,其 查询会独占连接。

从测试结果来看,流式查询并没有提升查询的速度

@Testpublic void streamQuery() throws Exception {    // 1核2G:查询一百条记录:138ms    // 1核2G:查询一千条记录:2304 ms    // 1核2G:查询一万条记录:26536 ms    // 1核2G:查询五万条记录:135931 ms    String sql = "select * from wh_b_inventory limit 50000";    statement = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);    statement.setFetchSize(Integer.MIN_VALUE);    ResultSet rs = statement.executeQuery(sql);    int count = 0;    while (rs.next()) {        count++;    }    System.out.println(count);}

JVM监控

我们将堆内存调小-Xms70m -Xmx70m

我们发现即使堆内存只有70m,却依然没有发生OOM

MySQL中流式查询及游标查询的方式是什么

2.3 游标查询

注意:

1、需要在数据库连接信息里拼接参数 useCursorFetch=true

2、其次设置 Statement 每次读取数据数量,比如一次读取 1000

从测试结果来看,游标查询在一定程度缩短了查询速度

@Testpublic void cursorQuery() throws Exception {    Class.forName("com.mysql.jdbc.Driver");    // 注意这里需要拼接参数,否则就是普通查询    conn = DriverManager.getConnection("jdbc:mysql://101.34.50.82:3306/mysql-demo?useCursorFetch=true", "root", "123456");    start = System.currentTimeMillis();      // 1核2G:查询一百条记录:52 ms     // 1核2G:查询一千条记录:1095 ms    // 1核2G:查询一万条记录:17432 ms    // 1核2G:查询五万条记录:90244 ms    String sql = "select * from wh_b_inventory limit 50000";    ((JDBC4Connection) conn).setUseCursorFetch(true);    statement = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);    statement.setFetchSize(1000);    ResultSet rs = statement.executeQuery(sql);    int count = 0;    while (rs.next()) {        count++;    }    System.out.println(count);}

JVM监控

我们将堆内存调小-Xms70m -Xmx70m

我们发现在单线程情况下,游标查询和流式查询一样,都能很好的规避OOM,并且游标查询能够优化查询速度。

MySQL中流式查询及游标查询的方式是什么

三、RowData

ResultSet.next() 的逻辑是实现类 ResultSetImpl 每次都从 RowData 获取下一行的数据。RowData 是一个接口,实现关系图如下

MySQL中流式查询及游标查询的方式是什么

3.1 RowDataStatic

默认情况下 ResultSet 会使用 RowDataStatic 实例,在生成 RowDataStatic 对象时就会把 ResultSet 中所有记录读到内存里,之后通过 next() 再一条条从内存中读

3.2 RowDataDynamic

当采用流式处理时,ResultSet 使用的是 RowDataDynamic 对象,而这个对象 next() 每次调用都会发起 IO 读取单行数据

3.3 RowDataCursor

RowDataCursor 的调用为批处理,然后进行内部缓存,流程如下:

  • 首先会查看自己内部缓冲区是否有数据没有返回,如果有则返回下一行

  • 如果都读取完毕,向 MySQL Server 触发一个新的请求读取 fetchSize 数量结果

  • 并将返回结果缓冲到内部缓冲区,然后返回名列前茅行数据

总结来说就是:

默认的 RowDataStatic 读取全部数据到客户端内存中,也就是我们的 JVM;

RowDataDynamic 每次 IO 调用读取一条数据;

RowDataCursor 一次读取 fetchSize 行,消费完成再发起请求调用。

四、JDBC 通信原理

在 JDBC 与 MySQL 服务端的交互是通过 Socket 完成的,对应到网络编程,可以把 MySQL 当作一个 SocketServer,因此一个完整的请求链路应该是:

JDBC 客户端 -> 客户端 Socket -> MySQL -> 检索数据返回 -> MySQL 内核 Socket Buffer -> 网络 -> 客户端 Socket Buffer -> JDBC 客户端

4.1 generalQuery 普通查询

普通查询会将当次查询到的所有数据加载到JVM,然后再进行处理。

如果查询数据量过大,会不断经历 GC,然后就是内存溢出

4.2 streamQuery 流式查询

服务端准备好从名列前茅条数据开始返回时,向缓冲区怼入数据,这些数据通过TCP链路,怼入客户端机器的内核缓冲区,JDBC会的inputStream.read()方法会被唤醒去读取数据,少数的区别是开启了stream读取的时候,每次只是从内核中读取一个package大小的数据,只是返回一行数据,如果1个package无法组装1行数据,会再读1个package。

4.3 cursorQuery 游标查询

当开启游标的时候,服务端返回数据的时候,就会按照fetchSize的大小返回数据了,而客户端接收数据的时候每次都会把换缓冲区数据全部读取干净,假如数据有1亿数据,将FetchSize设置成1000的话,会进行10万次来回通信;

由于MySQL方不知道客户端什么时候将数据消费完,而自身的对应表可能会有DML写入操作,此时MySQL需要建立一个临时空间来存放需要拿走的数据。

因此对于当你启用useCursorFetch读取大表的时候会看到MySQL上的几个现象:

  • 1.IOPS飙升

  • 2.磁盘空间飙升

  • 3.客户端JDBC发起SQL后,长时间等待SQL响应数据,这段时间就是服务端在准备数据

  • 4.在数据准备完成后,开始传输数据的阶段,网络响应开始飙升,IOPS由“读写”转变为“读取”。

  • IOPS (Input/Output Per Second):磁盘每秒的读写次数

  • 5.CPU和内存会有一定比例的上升

五、并发场景

并发调用:Jmete 1 秒 10 个线程并发调用

流式查询内存性能报告如下

并发调用对于内存占用情况也很 OK,不存在叠加式增加

MySQL中流式查询及游标查询的方式是什么

游标查询内存性能报告如下

MySQL中流式查询及游标查询的方式是什么感谢各位的阅读,以上就是“MySQL中流式查询及游标查询的方式是什么”的内容了,经过本文的学习后,相信大家对MySQL中流式查询及游标查询的方式是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

文章标题:MySQL中流式查询及游标查询的方式是什么,发布者:亿速云,转载请注明出处:https://worktile.com/kb/p/21873

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
亿速云的头像亿速云认证作者
上一篇 2022年8月31日 下午11:19
下一篇 2022年8月31日 下午11:21

相关推荐

  • win8如何取消开机启动项

    win8取消开机启动项的方法 1、 点击电脑开始键,找到设置。 2、点击应用选项。 3、点进去之后这里有一个启动,点进去。 4、想要关闭的应用,这里点击后面的关闭就可以了。 关于“win8如何取消开机启动项”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注亿速云行业资讯频…

    2022年9月24日
    55400
  • 怎么使用linux命令备份文件夹

    linux命令能备份文件夹。有两种命令用于备份文件夹:1、cp命令,该命令用于复制文件或文件夹,语法为“cp [options] source dest”;2、dump命令,该命令用于备份文件系统,语法为“dump [-cnu][-0123456789]…”。 linux命令备份文件夹 …

    2022年6月29日
    3.3K00
  • MySQL慢查询日志怎么设置

    一、概述 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值(long_query_time,单位:秒)的SQL语句。默认情况下,MySQL不启动慢查询日志。本文简单介绍如何开启慢查询日志,如何用mysqldumpslow分析慢查询。 二、慢查询日志设置 …

    2022年9月15日
    1.1K00
  • 如何解析Apache漏洞复现

    apache解析漏洞 漏洞原理 Apache 解析文件的规则是从右到左开始判断解析,如果后缀名为不可识别文件解析,就再往左判断。比如 test.php.owf.rar “.owf”和”.rar” 这两种后缀是apache不可识别解析,apache就会把wooyun.php.owf.rar解析成php…

    2022年9月8日
    57000
  • windows edge浏览器js错误表示如何解决

    edge浏览器js错误表示解决方法: 1、进入edge浏览器,点击右上角三个点依次打开“更多工具—>使用Internet explorer打开”。 2、点击右上方的齿轮设置,点击“Internet 选项”。 3、在Internet选项中选择“安全”点击下方的“自定义级别”。 4、下滑找到“脚本…

    2022年9月8日
    72500
  • 如何分析Haproxy端口复用

    本文作者:Spark(Ms08067内网安全小组成员) 一、概述 Haproxy是一个使用c语言开发的高性能负载均衡代理软件,提供tcp和http的应用程序代理,免费、快速且可靠。类似frp,使用一个配置文件+一个server就可以运行。优点: 大型业务领域应用广泛 支持四层代理(传输层)以及七层代…

    2022年9月10日
    75200
  • windows浩辰cad看图王怎么使用

    浩辰cad看图王使用方法: 1、首先我们下载安装这款软件 2、下载安装完成后,双击软件图标来打开它。 3、点击左上角的软件图标,选择“打开” 4、然后在其中找到并选中想要打开的图纸,点击“打开” 5、这样我们就可以在其中查看或编辑图纸了。 6、软件拥有编辑模式和览图模式两种,用户可以根据自己的需求来…

    2022年9月20日
    71700
  • Android基于方法池与回调怎么实现登录拦截

    一、使用通知与回调 其实本质逻辑就是想判断用户是否已经登录,然后跳转到登录页面,登录完成之后再跳转到个人中心,那我们使用通知回调不就行了吗? 在登录完成之后发出通知,在首页我们接受这个通知就调用去个人中心的方法不就行了吗? 使用通知的方式有很多,这里我们以LiveEventBus为例: public…

    2022年8月27日
    40600
  • SQL Server怎么使用CROSS APPLY与OUTER APPLY实现连接查询

    概述 CROSS APPLY 与 OUTER APPLY 可以做到:左表一条关联右表多条记录时,我需要控制右表的某一条或多条记录跟左表匹配的情况。 有两张表:Student(学生表)和 Score(成绩表),数据如下: 一、CROSS APPLY ROSS APPLY 的意思是“交叉应用”,在查询时…

    2022年8月29日
    55300
  • 电脑ntuser.dat文件可以删除吗

    ntuser.dat是什么文件可以删除吗: 答:可以删,但没必要的情况下较好不删,理由如下: 1、ntuser.dat是Windows 2000/XP的注册表文件之一,包含着用户特定的数据,是用户配置文件之一。 2、注册表包括多个文件,其中用户配置文件包括ntuser.dat、ntuser.ini、…

    2022年9月21日
    1.1K00
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部