MySQL的碎片有哪些

MySQL的碎片有哪些

MySQL 的几种碎片整理方案总结(解决delete大量数据后空间不释放的问题)

1.背景知识?

1.1 为什么会有碎片?

  1. MySQL 中 insert 与 update 都可能导致页分裂,这样就存在碎片。

    对于大量的UPDATE,也会产生文件碎片化 , Innodb的最小物理存储分配单位是页(page),而UPDATE也可能导致页分裂(page split),频繁的页分裂,页会变得稀疏,并且被不规则的填充,所以最终数据会有碎片。

  2. delete 语句实际上只是给数据打个标记,并且记录到一个链表中,这样就形成了留白空间。

    在InnoDB中,删除一些行,这些行只是被标记为“已删除”,而不是真的从索引中物理删除了,因而空间也没有真的被释放回收。InnoDB的Purge线程会异步的来清理这些没用的索引键和行。

  3. 当执行插入操作时,MySQL会尝试使用空白空间,但如果某个空白空间一直没有被大小合适的数据占用,仍然无法将其彻底占用,就形成了碎片;

  4. 总结:

    • truncate table其实有点类似于drop table 然后creat,只不过这个create table 的过程做了优化,比如表结构文件之前已经有了等等。所以速度上应该是接近drop table的速度;

    1. drop ,truncate 立刻释放磁盘空间 ,不管是 Innodb和MyISAM ;

    2. delete from table_name删除表的全部数据,对于MyISAM 会立刻释放磁盘空间 (应该是做了特别处理,也比较合理),InnoDB 不会释放磁盘空间;

    3. 对于 delete from table_name where xxx; 带条件的删除, 不管是innodb还是MyISAM都不会释放磁盘空间;

    4. delete操作以后使用optimize table table_name 会立刻释放磁盘空间。不管是innodb还是myisam 。所以要想达到释放磁盘空间的目的,delete以后执行optimize table 操作。

    5. delete from表以后虽然未释放磁盘空间,但是下次插入数据的时候,仍然可以使用这部分空间。

    6. 表的增删改操作,可能会造成数据空洞的,当对表进行大量的增删改操作后,数据空洞存在的可能性比较大。

    7. MySQL删除数据几种情况以及是否释放磁盘空间:

1.2 碎片带来的问题

  • 当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分;

  • MySQL数据库中的表在进行了多次delete、update和insert后,表空间会出现碎片。定期进行表空间整理,消除碎片可以提高访问表空间的性能。

  • 这种碎片不仅额外增加了存储代价,同时也因为数据碎片化降低了表的扫描效率。

  • 碎片若不整理,那么可能会长期占据磁盘空间,导致磁盘使用率越来越高。

2. 如何清理碎片?

修复问题的前提是要先找到问题,这样才能对症下药。

2.1. 查看表的碎片情况

  1. 查看数据库中每个存在碎片的表

    mysql> select concat('optimize table ',table_schema,'.',table_name,';'),data_free,engine from information_schema.tables where data_free>0 and engine !='MEMORY';+-----------------------------------------------------------+-----------+--------+| concat('optimize table ',table_schema,'.',table_name,';') | DATA_FREE | ENGINE |+-----------------------------------------------------------+-----------+--------+| optimize table abc.t_user_answer;                    		|   2097152 | InnoDB || optimize table mysql.time_zone_transition;                |   4194304 | InnoDB || optimize table mysql.time_zone_transition_type;           |   4194304 | InnoDB || optimize table mysql.user;                                |   4194304 | InnoDB |。。。。
  2. 查看指定表的碎片情况

     mysql> show table status like 't_user'G *************************** 1. row ***************************            Name: t_user          Engine: InnoDB         Version: 10      Row_format: Dynamic            Rows: 4333  Avg_row_length: 589     Data_length: 2555904 Max_data_length: 0    Index_length: 2719744       Data_free: 4194304  Auto_increment: NULL     Create_time: 2021-11-19 10:13:31     Update_time: 2022-04-20 14:28:42      Check_time: NULL       Collation: utf8mb4_general_ci        Checksum: NULL  Create_options:         Comment: 1 row in set (0.00 sec)

    Data_free: 4194304 就代表碎片的byte数。如果经常删改数据表,会造成大量的Data_free 频繁 删除记录 或修改有可变长度字段的表。

  3. 找到碎片化最严重的表

    SELECT table_schema, TABLE_NAME, concat(data_free/1024/1024, 'M') as data_freeFROM `information_schema`.tablesWHERE data_free > 3 * 1024 * 1024	AND ENGINE = 'innodb'ORDER BY data_free DESC

2.2 清理碎片(回收空间)的方法

官方文档参考
MySQL的碎片有哪些

通常有这几种做法
  1. alter table tb_test engine=innodb; (本质上是 recreate)

  2. optimize table tb_test; (本质上是 recreate,但是在不同创建下会有区别)

  3. ALTER TABLE tablename FORCE (在InnoDB表中等价于 alter table tb_test engine=innodb; )

  4. mysqlcheck 批量表空间优化

  5. gh-ost/pt-osc

  6. pt-online-schema-change (本质上也是 先备份旧表数据,然后 truncate 旧表)

1. alter table tb_test engine=innodb 原理介绍

这其实是一个NULL操作,表面上看什么也不做,实际上重新整理碎片了.当执行优化操作时,实际执行的是一个空的 ALTER 命令,但是这个命令也会起到优化的作用,它会重建整个表,删掉未使用的空白空间.

Running ALTER TABLE tbl_name ENGINE=INNODB on an existing InnoDB table performs a “null” ALTER TABLE operation, which can be used to defragment an InnoDB table, as described in Section 15.11.4, “Defragmenting a Table”. Running ALTER TABLE tbl_name FORCE on an InnoDB table performs the same function.

    MySQL5.6 开始采用 Inplace 方式重建表,Alter 期间,支持 DML 查询和更新操作,语句为 alter table t engine=innodb, ALGORITHM=inplace;之所以支持 DML 更新操作,是因为数据拷贝期间会将 DML 更新操作记录到 Row log 中。    重建过程中最耗时的就是拷贝数据的过程,这个过程中支持 DML 查询和更新操作,对于整个 DDL 来说,锁时间很短,就可以近似认为是 Online DDL。    执行过程:    1、获取 MDL(Meta Data Lock)写锁,innodb 内部创建与原表结构相同的临时文件    2、拷贝数据之前,MDL 写锁退化成 MDL 读锁,支持 DML 更新操作    3、根据主键递增顺序,将一行一行的数据读出并写入到临时文件,直至全部写入完成。并且,会将拷贝期间的 DML 更新操作记录到 Row log 中    4、上锁,再将 Row log 中的数据应用到临时文件    5、互换原表和临时表表名    6、删除临时表
2. optimize table xxx;

OPTIMIZE TABLE语句可以重新组织表、索引的物理存储,减少存储空间,提高访问的I/O效率。类似于碎片整理功能。

MySQL可以通过optimize table语句释放表空间,重组表数据和索引的物理页,减少表所占空间和优化读写性能

  1. 使用语法

    OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_n说ame [, tbl_name] …

    • 对于主从架构, LOCAL 参数可以让这个过程不写入 binlog ,这样在主库上执行时就不会同步给从库了

    • 默认情况下,MySQL将OPTIMIZE TABLE语句写入二进制日志,以便它们复制到slave服务器。如果不想写二进制日志,使用命令时加上NO_WRITE_To_BINLOG或LOCAL关键字即可。

    • 使用这个语句需要具有对目标表的SELECT、INSERT权限。

  2. 注意:

    1. 需要有足够的空间才能进行OPTIMIZE TABLE。 (剩余空间必须 > 被 OPTIMIZE 的表的大小)

    2. OPTIMIZE 只对独立表空间(innodb_file_per_table=1)才有用,对共享表空间不起作用。

      对于共享表空间,如果需要瘦身: 必须将数据导出,删除ibdata1,然后将 innodb_file_per_table 设置为独立表空间, 然后将数据导入进来。

    3. 对于InnoDB的表,OPTIMIZE TABLE 的工作原理如下

      对于InnoDB表, OPTIMIZE TABLE映射到ALTER TABLE … FORCE(或者这样翻译:在InnoDB表中等价 ALTER TABLE … FORCE),它重建表以更新索引统计信息并释放聚簇索引中未使用的空间。

      当您在InnoDB表上运行时,它会显示在OPTIMIZE TABLE的输出中,如下所示:mysql> OPTIMIZE TABLE foo; +----------+----------+----------+---------------------------------------+ | Table    | Op       | Msg_type | Msg_text                                                          | +----------+----------+----------+---------------------------------------+ | test.foo | optimize | note     | Table does not support optimize, doing recreate + analyze instead | | test.foo | optimize | status   | OK                                                                | +----------+----------+----------+---------------------------------------+ # 但这个提示语可以忽略,从严格的意义讲,说InnoDB不支持optimize table,其实不太准确。 因为 MYSQL的文档说明了,当INNODB 的表,MYSQL会以 ALTER TABLE force  +  analyze 去执行这个命令(相当于做了recreate和analyze)。 所以最终还是会看到 OK 的状态。 # https://stackoverflow.com/questions/30635603/what-does-table-does-not-support-optimize-doing-recreate-analyze-instead-me
    4. 对于MYISAM表,OPTIMIZE TABLE 的工作原理:
      1. 如果表已删除或分隔行,就修复该表。
      2. 如果索引页没有排序,就排序它们。
      3. 如果表的统计信息不是最新的(而且修复不能通过对索引进行排序),就更新它们。

    5. **执行时也可以发现报错: Temporary file write failure. **

      建议参考这片文章:
      Mysql optimize table 时报错 Temporary file write failure. 的解决方案

  3. optimize 语句的官网介绍

    • 如果您已经删除了表的一大部分,或者如果您已经对含有可变长度行的表(含有VARCHAR, BLOB或TEXT列的表)进行了很多更改,则应使用 OPTIMIZE TABLE。

    • 被删除的记录被保持在链接清单中,后续的INSERT操作会重新使用旧的记录位置。您可以使用OPTIMIZE TABLE来重新利用未使用的空间,并整理数据文件的碎片。

    • 在多数的设置中,您根本不需要运行OPTIMIZE TABLE。即使您对可变长度的行进行了大量的更新,您也不需要经常运行,每周一次或每月一次 即可,只对特定的表运行。

  4. Mysql 5.6 之前 在OPTIMIZE TABLE运行过程中,MySQL会锁定表,5.6之后有了 Online DDL 则大大减少了锁表时间。

3. alter table、analyze table和optimize table区别
  • alter table tb_test engine = innodb;

    • (也就是 recreate)MySQL 5.5以前用Offline的方式重建表,5.6以后用Online的方式重建表;

  • analyze table tb_test ;

    • 重新统计表的索引信息,不会修改数据,不会重建表,整个过程加MDL读

  • optimize table tb_test ;

    • 是 alter table xxx = innodb; + analyze table xxx; 的过程。

4. OPTIMIZE TABLE 和ALTER TABLE xxxx ENGINE= INNODB哪个更好
  • OPTIMIZE TABLE 还是ALTER TABLE xxxx ENGINE= INNODB 基本上是一样的。但是在有些情况下,ALTER TABLE xxxx ENGINE= INNODB更好。

    • 例如: old_alter_table 系统变量没有启用等等。

  • 另外: 对于MyISAM类型表,使用ALTER TABLE xxxx ENGINE= INNODB 是明显要优于 OPTIMIZE TABLE这种方法的。

2.3 官方建议

MySQL官方建议不要经常(每小时或每天)进行碎片整理,一般根据实际情况,只需要每周或者每月整理一次即可(我们现在是每月凌晨4点清理mysql所有实例下的表碎片)

到此,相信大家对“MySQL的碎片有哪些”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

文章标题:MySQL的碎片有哪些,发布者:亿速云,转载请注明出处:https://worktile.com/kb/p/24610

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
亿速云的头像亿速云认证作者
上一篇 2022年9月13日 下午11:36
下一篇 2022年9月13日 下午11:37

相关推荐

  • 如何用rank函数排名

    用rank函数排名的方法: 1、首先进入空白单元格,然后输入:=RANK( )来进行排名。 2、然后去点击E2单元格,即可获得rank的名列前茅个参数,然后输入逗号。 3、之后就可以去框选所有的数据,并且去获取函数的第二个参数。 4、然后按下F4,即可对rank函数的第二个参数做绝对引用。 5、按下…

    2022年8月30日
    78700
  • easyrecovery怎么恢复视频

    easyrecovery恢复视频的方法 1、选择恢复视频,点击下一步。 2、接着选择你需要恢复的硬盘进行扫描。 3、等待软件扫描完成。 4、经过扫描后可以直观的看到文件数,文件夹数,和可恢复数据数 5、找到你需要恢复的视频,右键恢复就可以了。 关于“easyrecovery怎么恢复视频”这篇文章的内…

    2022年9月26日
    33700
  • php中有哪些字符串定界符

    php字符串定界符有两种:1、heredoc定界符,在“<<<”运算符之后要提供一个标识符,然后换行,接下来是字符串本身,最后要用前面定义的标识符作为结束标志。2、nowdoc定界符,在“<<<”运算符之后要提供一个被单引号括起来的标识符,然后换行,接下来是字符串…

    2022年9月26日
    83100
  • APT组织使用的10大安全漏洞分别是什么

    概述 APT攻击(Advanced Persistent Threat,高级持续性威胁)是利用先进的攻击手段对特定目标进行长期持续性网络攻击的攻击形式。APT攻击的原理相对于其他攻击形式更为高级和先进,其高级性主要体现在精确的信息收集、高度的隐蔽性、以及使用各种复杂的目标系统/应用程序漏洞等方面。 …

    2022年9月21日
    96800
  • word页码如何设置

    word设置页码的方法: 1、首先,打开你的Word文档,进入主页面。 2、将鼠标放在页脚下面,双击进入编辑状态, 此时的页眉和页脚都可以编辑,但是正文内容是变成了灰色。 3、然后在“页眉和页脚工具”设计选项卡下,选择“页码—>页面底端—>普通数字2”。 在这里普通数字1、2、3的三种页…

    2022年9月20日
    49900
  • Git远程仓库配置SSH怎么实现

    1. 设置本地git账户邮箱和用户名 输入命令git config –global user.name “Git账号”以及git config –global user.email “Git邮箱”。 输入命令git config –global –list,查看配置是否正确。 2. 生成新的…

    2022年9月20日
    65500
  • windows浩辰cad看图王图纸打开不显示怎么解决

    解决方法: 方法一: 1、首先我们要确保打开的图纸格式正确。 2、软件支持打开DWG、PDF、DXF这三种图纸格式。 3、此外,如果图纸本身数据错误也会导致显示不出来的问题。 方法二: 1、图纸太大也可能会导致无法在浩辰cad看图王中打开。 2、这时候我们需要在CAD本体中打开图纸,也可以用浩辰ca…

    2022年9月21日
    78000
  • Apache Shiro 1.2.4反序列化漏洞实例分析

    0x00 Apache Shiro 这个组件的漏洞很久之前就爆出来了,但是最近工作中又遇到了,刚好最近也在看Java反序列化的东西,所以决定拿出来再分析一下,期间也遇到了一些奇怪的问题。 网上的分析文章中大部分都是手动添加了commons-collections4-4.0的依赖,目的是为了使用yso…

    2022年9月16日
    55900
  • windows edge浏览器缓存位置如何修改

    edge浏览器缓存位置更改方法: 1、进入edge浏览器的路径位置,删除“Cache”缓存文件夹。 2、右击开始,选择“命令提示符(管理员)”。 3、输入命令 mklink /D “C:Users用户名AppDataLocalPackagesMicrosoft.MicrosoftEdge…

    2022年9月8日
    1.4K00
  • vlookup函数的概念是什么

    vlookup函数是什么意思 答:纵向查找函数。 1、vlookup函数能够快速导入列表数据,完成数据核对或查找。 2、在工作中,我们可以使用它在单个或多个表格中查找并核对需要的数据。 3、vlookup函数的语法规则为:VLOOKUP(lookup_value,table_array,col_in…

    2022年9月24日
    56400
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部