MySQL架构演进-从主从复制到分库分表


背景


业务飞速发展导致数据规模急速膨胀,单机的数据库已经无法满足互联网业务的发展。

传统的将数据集中存储单一数据结节的方案,在容量、性能、可用性和可维护性方面已经难以满足互联网海量数据的场景。

从容量方面考虑,单机数据库容量有限,难以扩容。

从性能方面来说,由于关系型数据库大多数采用B+树类型索引,在数据量超过一定的阈值后,索引的深度增加导致对磁盘的随机IO次数增加,进而导致性能问题。

从可用性方面来说,服务通常设计成无状态的,这必然导致系统的存储压力都集中在数据库层面,而单一的数据节点,或者简单的主从架构,已经越来越难以承担。

从运维角度来看,当数据都集中在一个节点上时,数据备份和恢复的时间成本也随之数据量上升变得不可控。同时数据丢失导致影响的范围也会被放大。


主从复制


  • 主库将事务操作(除了查询以外的操作)记录到binlog
  • 从库通过relay log同步数据,实现数据的同步
binlog日志格式
  • row 记录数据库操作详细记录,包括上线文信息等,文件较大。
  • statement 记录事务相关的SQL文件。
  • mixed 混合式, 基于row和statement两种文件格式。

异步复制

2000年,MySQL3.23.15版本引入复制功能,采用异步复制的方式,当网络或者机器故障,会导致数据不一致。

半同步复制

2010年, MySQL 5.5版本引入半同步复制, 半同步复制是指只要一个salve节点返回ack,master节点就可以提交事务了,保证数据库至少有一个节点完成了数据的同步。

组复制

2016年,MysQL在5.7.17中引入InnoDB Group Replication,该方案基于paxos协议实现组内复制,保证数据一致性,paxos协议核心在于过半选举。

主从复制的问题

  • 主从复制延迟,导致"写完读"数据不一致问题。
    • 从库读取失败,再去主库执行一遍SQL,存在性能问题。
    • 业务层保证系统核心功能可用,将核心功能的CRUD操作都路由到主库,非核心业务功能即使存在短暂数据不一致也影响不大。
  • 路由问题,需要业务层根据SQL路由到不同的数据库,路由到SLAVE节点时,还需要保证系统负载均衡。
    • 业务层通过框架(如sharding-jdbc)或者手动实现,对业务的侵入性较大,已存在的旧系统改造不友好。
    • 通过数据库中间件实现(如mycat、sharding-proxy),需要部署一个中间件(中间件实现SQL标准),规则配置在中间件,执行过程中会多一次网络转发。
  • 不能保证系统高可用
    • 通过一系列高可用的解决方案保证数据库高可用


数据库高可用


什么是高可用?

高可用意味着,更少的服务不可用的时间,一般用SLA(服务级别协议)衡量。
1年 = 365天 = 8760小时
99 = 8760 * 1% = 8760 * 0.01 = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟

为什么要做高可用?

通过故障转移,提供failover的能力,加上业务侧连接池的心跳重试,实现断线重连,业务不间断,降低RTO(Recovery Time Objective,复原时间目标)和RPO(Recovery Point Objective,复原点目标)。
  • 容灾恢复:冷备和热备,冷备和热备的区别在于运行期间是否提供服务。
  • 对于主从来说,简单的来说就是Master节点挂了,某一个从节点,自动切换成主。
  • 从集群来看,即便是个别节点挂了,能正常对外提供服务。
常见的策略:
  • 多实例部署
  • 跨机房部署
  • 两地三中心容灾高可用方案等。

手动切换

即如果主节点宕机,手动将某个从节点修改成主节点。
存在的问题:
  • 可能数据不一致
  • 需要人工干预
  • 代码和配置的侵入性,需要配置其他节点,修改应用数据源的配置。

MHA

MHA全称叫做MySQL Master High Availability,是由Facebook工程师Yoshinori Matsunobu开发的一款MySQL高可用框架,基于Perl语言开发,一般能在30秒内实现主从切换,切换时通过SSH复制主节点的日志信息。
MHA负责MySQL主库的高可用,当主库发生故障时,MHA会选择一个数量最接近原主库的候选节点作为新的主节点,并且补齐和之前宕机的Master差异的Binlog。数据补齐后,即将写VIP漂移到新的主库上。具体的架构图如下:
优点
  • 可以进行根据具体的故障实现自动检测和故障转移
  • 扩展性好,可以任意的扩展数据节点数量
缺点:
  • 极限情况下,可能会发生脑裂现象,出现多个Master。
  • 需要配置SSH信息。
  • 至少需要三台。

MGR

MGR是数据库支持的,只需要配置插件即可,如果主节点挂掉,将自动选择某个从改为主。无需人工干预,并且基于组复制(paxos算法),保证数据一致性。
MGR的特点
  • 高一致性,基于分布式Paxos协议实现复制,保证数据一致性。
  • 高容错性,自动检测机制,只要大多数节点都宕机的情况下,数据库可以继续工作,内置防脑裂保护机制。
  • 高可扩展性,加入新节点后,自动实现增量同步,直到与其他节点数据一致。
  • 高灵活性,提供了单主和多主模式,单主模式支持主节点宕机,自动选主,多主模式支持多节点写入。
MySQL InnoDb Cluster,一个完整的数据库高可用解决框架,由多个组件组成
  • MySQL Group Replication,提供DB的扩展,故障迁移
  • MySQL Router,轻量级中间件,提供应用程序连接目标的故障转移。
  • MySQL shell,新的MySQL客户端,多种接口模式,可以设置群组复制和Router。

Orchestrator

一款MySQL高可用和复制拓扑管理工具,支持复制拓扑结构的调整,自动故障迁移和手动切换的功能等,直接拖拽UI,就可以实现主从切换。

分库分表

分库分表通常是指垂直分库和水平分表,对于垂直分表其实就是将宽表拆分成小表,没有太多的技术挑战,这里侧重讲讲垂直分库和水平分表。

垂直分库

垂直分库是指将数据库进行纵向切分,通常按照业务的维度进行划分。
如典型的微服务的架构,将系统按照业务维度垂直拆分,划分成多个服务。如一个电商网站可以拆分成:订单、商品、会员、支付等服务。
垂直分库后业务更加单纯,职责单一,同时可以解决部分数据库容量问题,但是同时也引入了新的技术复杂度,如下:
  • 分布式事务,跨数据库的事务操作需要分布式事务支持,否则系统将会面临数据不一致的问题。
    • 方案一,采用XA事务,XA事务是数据库本身支持规范,具备强一致性的特征,但是性能比较差,对于追求高性能的场景不适合使用XA事务。
    • 方案二,采用柔性事务,柔性事务是指,数据库保证局部事务,全局事务实现由业务层实现(如通过调度补偿,重试补偿,人工介入等),柔性事务常见的解决方案有:TCC、利用消息队列实现事务。
  • join问题,分库后,表分散到不同的数据库,无法直接使用SQL进行JOIN操作,需要业务层自己实现聚合操作,增加了开发成本。

水平分表

水平分表是指,将表按照某种规则分成多张表,拆分后的表结构和拆分前完全一致,但是数据分散到多张表中,也可以成为数据分片。
通过水平分表,解决了单表的容量和性能问题。但同时,水平分表后,引入了新的技术复杂度,主要有以下几点:
  • 路由问题,当业务层通过SQL对数据库进行DML操作时,到底该查询那张表呢?
    • 方案一:范围路由。根据表中某一列(分片键)的取值范围进行分表,如根据创建时间将主表分成多张表,每个月的数据单独存储在一个表中。范围路由可能出现数据分配不均匀的现象,但是表数量易于扩展。
    • 方案二:哈希路由。根据表中某一列与分片数量取模运算(field_value % table_num)。hash路由和范围路由相反。表数量扩展时都会导致数据重新分布,但是数据分布较为均匀。
  • join问题,由于分表后,数据分散到多个表中,JOIN的条件语句中如果没有分片键,那么需要将全部的分片表都JOIN一遍,这种操作会存在性能问题。
  • count问题,分表后,如果需要统计表记录总和,需要遍历所有的表,然后再将结果进行汇总,可以通过一张单独的汇总表来解决,但这种解决方案需要每次insert或者delete的时候就需要更新汇总表,如果有一次没有更新,就会导致数据不一致。
  • order by问题,分表后,如果需要进行排序,需要遍历所有的表,然后在代码层进行重新排序,这个操作一看就会存在性能问题。

分库分表解决方案

  • 业务代码层解决,可以通过SQL手动处理路由,但是和业务的耦合很严重,不易于维护。通常采用集成jar包的方式进行解决,如集成成熟的开源项目:sharding-jdbc。
  • 数据库中间件,数据库中间件实现了对应数据库的SQL标准,路由规则配置在数据库中间件,业务代码操作数据库中间件和直接操作数据库没有任何区别。


总结


从单节点数据库到主从复制,再到数据库高可用,再到分库分表,很好的解决了数据的性能、容量、高可用、运维性等问题,但是会带来分布式事务、复杂SQL难以操作、SQL路由等问题。
架构设计应该遵循:"简单性"、"合适性"、"演化性"的原则,符合当前的业务发展,所以系统设计没有必要一上来就考虑分库分表,而应该是数据量达到一定的量,出现性能瓶颈的时候再对系统进行改造和优化。

已有 0 条评论

    欢迎您,新朋友,感谢参与互动!