Mysql锁的内部实现机制是什么

注:所列举代码皆出自Mysql-5.6

虽然现在关系型数据库越来越相似,但其背后的实现机制可能大相径庭。实际使用方面,因为SQL语法规范的存在使得我们熟悉多种关系型数据库并非难事,但是有多少种数据库可能就有多少种锁的实现方法。

Microsoft Sql Server2005之前只提供页锁,直到2005版本才开始支持乐观并发悲观并发,乐观模式下允许实现行级别锁,在Sql Server的设计中锁是一种稀缺资源,锁的数量越多,开销就越大,为了避免因为锁的数量快速攀升导致性能断崖式下跌,其支持一种称为锁升级的机制,一旦行锁升级为页锁,并发性能就又回到原点。

事实上,即使在同一个数据库,不同的执行引擎对锁这一功能的诠释依然是百家争鸣。对于MyISAM而言仅仅支持表锁,并发读取尚可,并发修改可就捉襟见肘了。Innodb则和Oracle非常相似,提供非锁定一致性读取行锁支持,与Sql Server明显不同的是随着锁总数的上升,Innodb仅仅只需要付出一点点代价。

行锁结构

Innodb支持行锁,且对于锁的描述并不会存在特别大的开销。因此不需要锁升级这一机制作为大量锁导致性能下降之后的抢救措施。

摘自lock0priv.h文件,Innodb对于行锁的定义如下:

/** Record lock for a page */struct lock_rec_t {    /* space id */    ulint  space;	        /* page number */    ulint  page_no;        /**     * number of bits in the lock bitmap;      * NOTE: the lock bitmap is placed immediately after the lock struct      */    ulint  n_bits;			};

不难看出虽然并发控制可以细化到行级别,但是锁以页的粒度组织管理。Innodb的设计中通过space id、page number两个必要条件就可以确定少数一个数据页,n_bits表示描述该页行锁信息需要多少bit位。

同一数据页中每条记录都分配少数的连续的递增序号:heap_no,若要知道某一行记录是否上锁,则只需要判断位图heap_no位置的数字是否为一即可。由于lock bitmap根据数据页的记录数量进行内存空间分配的,因此没有显式定义,且该页记录可能还会继续增加,因此预留了LOCK_PAGE_BITMAP_MARGIN大小的空间。

/**  * Safety margin when creating a new record lock: this many extra records * can be inserted to the page without need to create a lock with  * a bigger bitmap */#define LOCK_PAGE_BITMAP_MARGIN	 64

假设space id = 20,page number = 100的数据页目前有160条记录,heap_no为2、3、4的记录已经被锁,则对应的lock_rec_t结构与数据页应该被这样刻画:

Mysql锁的内部实现机制是什么

注:

  • 内存中的lock bitmap应该是线性分布的,图中所示二维结构是为了方便描述

  • bitmap与lock_rec_t结构是一块连续内存,图中引用关系也是绘图需要

可以看到该页对应的bitmap第二三四位置全部置一,描述一个数据页行锁所消耗内存从感官上相当有限,那具体占用多少呢?我们可以计算一下:
160 / 8 + 8 + 1 = 29byte。

  • 160条记录对应160bit

  • +8是因为需要预留出64bit

  • +1是因为源码中还预留了1字节

这里还额外+1,应该是为了避免因为整除导致的结果数值偏小的问题。假如是161条记录如果不+1则计算出来的20byte不够描述所有记录的锁信息(不动用预留位)。

摘自lock0priv.h文件:

/* lock_rec_create函数代码片段 */n_bits = page_dir_get_n_heap(page) + LOCK_PAGE_BITMAP_MARGIN;n_bytes = 1 + n_bits / 8;/* 注意这里是分配的连续内存 */lock = static_cast<lock_t*>(    mem_heap_alloc(trx->lock.lock_heap, sizeof(lock_t) + n_bytes));/** * Gets the number of records in the heap. * @return number of user records  */UNIV_INLINE ulint page_dir_get_n_heap(const page_t* page)	{    return(page_header_get_field(page, PAGE_N_HEAP) & 0x7fff);}

表锁结构

Innodb还支持表锁,表锁可分为两大类:意向锁,自增锁其数据结构定义如下:

摘自lock0priv.h文件

struct lock_table_t {    /* database table in dictionary cache */    dict_table_t*  table;        /* list of locks on the same table */    UT_LIST_NODE_T(lock_t)  locks;};

摘自ut0lst.h文件

struct ut_list_node {    /* pointer to the previous node, NULL if start of list */    TYPE*  prev;        /* pointer to next node, NULL if end of list */    TYPE*  next;};#define UT_LIST_NODE_T(TYPE)  ut_list_node<TYPE>

事务中锁的描述

上述lock_rec_t、lock_table_t结构只是单独的定义,锁产生于事务之中,因此每个事务对应的行锁、表锁会有一个相应的锁的结构,其定义如下:

摘自lock0priv.h文件

/** Lock struct; protected by lock_sys->mutex */struct lock_t {    /* transaction owning the lock */    trx_t*  trx;        /* list of the locks of the transaction */    UT_LIST_NODE_T(lock_t)  trx_locks;	        /**      * lock type, mode, LOCK_GAP or LOCK_REC_NOT_GAP,     * LOCK_INSERT_INTENTION, wait flag, ORed      */    ulint  type_mode;        /* hash chain node for a record lock */    hash_node_t  hash;	        /*!< index for a record lock */    dict_index_t*  index;        /* lock details */    union {        /* table lock */        lock_table_t  tab_lock;                /* record lock */        lock_rec_t  rec_lock;    } un_member;};

lock_t是根据每个事务每个页(或表)来定义的,但是一个事务往往涉及到多个页,因此需要链表trx_locks串联起一个事务相关的所有锁信息。除了需要根据事务查询到所有锁信息,实际场景还要求系统必须能够快速高效的检测出某个行记录是否已经上锁。因此必须有一个全局变量支持对行记录进行锁信息的查询。Innodb选择了哈希表,其定义如下:

摘自lock0lock.h文件

/** The lock system struct */struct lock_sys_t {    /* Mutex protecting the locks */    ib_mutex_t  mutex;		        /* 就是这里: hash table of the record locks */    hash_table_t*  rec_hash;	        /* Mutex protecting the next two fields */    ib_mutex_t  wait_mutex;        /**      * Array  of user threads suspended while waiting forlocks within InnoDB,     * protected by the lock_sys->wait_mutex      */    srv_slot_t*  waiting_threads;        /*     * highest slot ever used in the waiting_threads array,     * protected by lock_sys->wait_mutex      */    srv_slot_t*  last_slot;        /**      * TRUE if rollback of all recovered transactions is complete.      * Protected by lock_sys->mutex      */    ibool  rollback_complete;		    /* Max wait time */    ulint  n_lock_max_wait_time;    /**     * Set to the event that is created in the lock wait monitor thread.     * A value of 0 means the thread is not active     */    os_event_t	timeout_event;		    /* True if the timeout thread is running */    bool  timeout_thread_active;};

函数lock_sys_create在database start之际负责初始化lock_sys_t结构。rec_hash的hash slot数量由srv_lock_table_size变量决定。rec_hash哈希表的key值通过页的space id,page number计算得出。

摘自lock0lock.icut0rnd.ic 文件

/** * Calculates the fold value of a page file address: used in inserting or * searching for a lock in the hash table. * * @return folded value  */UNIV_INLINE ulint lock_rec_fold(ulint space, ulint page_no){    return(ut_fold_ulint_pair(space, page_no));}/** * Folds a pair of ulints. * * @return folded value  */UNIV_INLINE ulint ut_fold_ulint_pair(ulint n1, ulint n2){    return (        (            (((n1 ^ n2 ^ UT_HASH_RANDOM_MASK2) << 8) + n1)            ^ UT_HASH_RANDOM_MASK        )         + n2    );}

这将意味着无法提供一个手段使得我们可以直接得知某一行是否上锁。而是应该先通过其所在的页得到space id、page number通过lock_rec_fold函数得出key值而后经过hash查询得到lock_rec_t,而后根据heap_no扫描bit map,最终确定锁信息。lock_rec_get_first函数实现了上述逻辑:

这里返回的其实是lock_t对象,摘自lock0lock.cc文件

/** * Gets the first explicit lock request on a record. * * @param block   : block containing the record  * @param heap_no : heap number of the record  * * @return first lock, NULL if none exists  */UNIV_INLINE lock_t* lock_rec_get_first(const buf_block_t* block, ulint heap_no){    lock_t*  lock;    ut_ad(lock_mutex_own());    for (lock = lock_rec_get_first_on_page(block); lock;         lock = lock_rec_get_next_on_page(lock)    ) {        if (lock_rec_get_nth_bit(lock, heap_no)) {            break;        }    }    return(lock);}

锁维护以页的粒度,不是一个较高效直接的方式,明显的时间换空间,这种设计使得锁的开销很小。某一事务对任一行上锁的开销都是一样的,锁数量的上升也不会带来额外的内存消耗。

每个事务都对应一个trx_t的内存对象,其中保存着该事务锁信息链表和正在等待的锁信息。因此存在如下两种途径对锁进行查询:

  • 根据事务: 通过trx_t对象的trx_locks链表,再通过lock_t对象中的trx_locks遍历可得某事务持有、等待的所有锁信息。

  • 根据记录: 根据记录所在的页,通过space id、page number在lock_sys_t结构中定位到lock_t对象,扫描bitmap找到heap_no对应的bit位。

上述各种数据结构,对其整理关系如下图所示:

Mysql锁的内部实现机制是什么

注:

  • lock_sys_t中的slot颜色与lock_t颜色相同则表明lock_sys_t slot持有lock_t
    指针信息,实在是没法连线,不然图很混乱

以上就是关于“Mysql锁的内部实现机制是什么”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注亿速云行业资讯频道。

文章标题:Mysql锁的内部实现机制是什么,发布者:亿速云,转载请注明出处:https://worktile.com/kb/p/25001

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
亿速云的头像亿速云认证作者
上一篇 2022年9月15日 上午1:39
下一篇 2022年9月15日

相关推荐

  • node服务CPU过高如何解决

    帮同事看一个CPU过高的问题 CPU涨了后掉不下去,最终同事排查出来是 某个依赖升级大版本后下线了默认的公共 redis 配置,(项目较老,很久没人动过)但需要业务方代码里自己配置关闭 redis服务。业务方有信息gap,所以不知道要关闭redis,导致上线后,一直在重试连接redis(多一个请求就…

    2022年9月16日
    1.8K00
  • word怎么制作目录页

    word制作目录的方法: 1、首先将光标放到文档标题下方,然后选择菜单栏依次点击“引用-目录-插入目录”。 2、然后根据情况选择显示级别点击确定,级别的选择只要大于自己需需求都可以。 3、此时如果将光标放置到目录下方,选择“插入-分页”可以使目录和正文分成两页。 4、如果文章的内容发生了更改,会导致…

    2022年9月19日
    63100
  • mysql数据库拉链表是什么

    拉链表产生背景 在数据仓库的数据模型设计过程中,经常会遇到这样的需求: 1、数据量比较大; 2、表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等; 3、需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,比如,查看某一个用户在过去某…

    2022年9月24日
    85300
  • javascript数值型只有一种吗

    javascript数值型只有一种:浮点类型。JavaScript内部存储数字都是按64位浮点类型存储的,所以在JavaScript中实际上是没有整数类型的。按照JavaScript中的数字格式能够表示的整数范围为“[-2^53 ~ 2^53]”,包含边界值;但需要注意的是,数组索引、位操作符等使用…

    2022年9月24日
    50600
  • windows 0x80070002错误代码如何解决

    0x80070002错误代码解决方法: 方法一: 1、点击左下角开始,在“windows系统”中打开“控制面板”。 2、进入后点击查看方式选择“大图标”。 3、然后在下面找到“管理工具”。 4、在管理工具中点击“服务”双击进入。 5、下拉找到“windows update”右击选择“停止”即可。 6…

    2022年9月18日
    1.1K00
  • mysql索引类型有哪些

    索引类型有:1、B-树索引,使表中的每一行都会在索引上有一个对应值;2、哈希索引,可根据索引列对应的哈希值的方法获取表的记录行;3、普通索引,允许在定义索引的列中插入重复值和空值;4、少数索引,可以避免数据出现重复;5、主键索引,是为主键字段创建的索引;6、空间索引,是对空间数据类型的字段建立的索引…

    2022年9月20日
    2.7K00
  • 如何用Redis实现排行榜及相同积分按时间排序功能

    需求:对组队活动中各个队伍的贡献值进行排行。 不考虑积分相同 Redis的Sorted Set是String类型的有序集合。集合成员是少数的,这就意味着集合中不能出现重复的数据。 每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。 有序集合的成员是…

    2022年8月31日
    1.5K00
  • windows ecshop模板如何修改

    ecshop模板修改方法: 1、首先我们下载一个模板,将他放入软件目录下的“themes”文件夹。 2、接着打开ecshop,点击“模板管理”下的“模板选择” 3、然后点击下方你要更换的模板。(建议备份当前模板) 4、网站会弹出提示,如图所示,点击“确定” 5、修改完成后去到网站,就可以发现模板已经…

    2022年9月22日
    42800
  • word页码怎么设置

    word页码设置教程: 1、打开需要设置的文档。 2、在工具栏中找到插入的功能。 2、插入功能中有页码功能,点击即可。 3、选择页码的出现位置。 4、选择页面的样式。 5、效果如图。 感谢各位的阅读,以上就是“word页码怎么设置”的内容了,经过本文的学习后,相信大家对word页码怎么设置这一问题有…

    2022年9月19日
    36000
  • 用于黑客渗透测试的Linux工具有哪些

    用于黑客渗透测试的 Kali Linux 工具 Kali Linux 预装了几种类型的工具。如果你发现有的工具没有安装,只需下载并进行设置即可。这很简单。 1、Nmap Nmap Nmap (即 “ 网络映射器(Network Mapper)”)是 Kali Linux 上很受欢迎的信息收集工具之一…

    2022年9月1日
    81800
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部