云数据库MariaDB概述

云数据库 MariaDB(TencentDB for MariaDB)是应用于 OLTP场景下的高安全性的企业级云数据库,一直应用于腾讯计费业务,MariaDB 兼容 MySQL
语法,不仅拥有诸如线程池、审计、异地容灾等高级功能,同时具有云数据库的易扩展性、简单性和高性价比。

相关概念

实例:腾讯云上的 MariaDB 数据库资源。

实例类型:MariaDB 实例在节点数量、读写能力与地域部署上不同的搭配。

只读实例:仅提供读功能的 MariaDB 实例。

灾备实例:提供跨可用区、跨地域灾备能力的 MariaDB 实例。

私有网络:自定义的虚拟网络空间,与其他资源逻辑隔离。

安全组:对 MariaDB 实例进行安全的访问控制,指定进入实例的 IP、协议及端口规则。

地域和可用区:MariaDB 实例和其他资源的物理位置。

腾讯云控制台:基于 Web 的用户界面。

 

产品优势

 
数据强一致性

支持配置强同步复制,在主备架构下,强同步确保主备数据强一致,避免您的数据库在主备切换时丢失数据。当然,您也可以通过修改配置,关闭强同步功能以提高性能。

高安全性
  • 防 DDos 攻击:当用户使用外网连接和访问 MariaDB 实例时,可能会遭受 DDoS 攻击。当 MariaDB 安全体系认为用户实例正在遭受 DDoS 攻击时,会自动启动流量清洗功能。
  • 系统安全:即使在内网,MariaDB 也处于多层防火墙的保护之下,可以有力地抗击各种恶意攻击,保证数据的安全。另外,物理服务器不允许直接登录,只开放特定的数据库服务所需要的端口,有效隔离具有风险的操作。
  • VPC 网络隔离:支持 VPC 网络,以安全隔离内网其他设备的访问。
  • 内网风控:腾讯云数据库团队无法直接访问到 MariaDB 物理机或数据库实例,必须通过腾讯云运维管理平台访问,即使是排查问题也必须在安全设备上,且通过内部风控系统的严格管理。
  • 对象粒度的权限管控:用户可定义到表级的权限,并允许配置访问 MariaDB 的 IP 地址,指定之外的 IP 地址将被拒绝访问。
  • 数据库审计:支持配置数据库审计,记录管理员或用户的操作历史,用于出现风险后的管控。
  • 操作日志:系统记录用户访问腾讯云 Web 管理中心操作 MariaDB 的全部记录,常用于事后追溯。
高可用特性

MariaDB 的设计旨在提供高于99.99%的可用性,提供双机热备,或一主两备,两个备机用于透明的故障转移,还提供故障节点自动修复、自动备份、回档等功能,帮助业务更稳定、安全地运行。

物理高可用

根据您购买实例配置不同,MariaDB 通常采用一主一备双节点、或一主两备三节点架构。每个节点安装在独立跨机架部署的物理机上,确保不会因为单一设备、机架网络故障或断电影响数据库服务。

网络高可用

MariaDB 的每个节点物理机均采用双网卡双连交换机配置,物理网络安全可靠。在实际使用时,TProxy 对接腾讯云网关 TGW;主节点出现故障后,TProxy 最快200ms内切换 DB 路由;若 TProxy 故障,TGW 在1s内负载到其他存活的 TProxy;切换不改变访问 VIP(虚拟 IP),以便屏蔽物理服务器变化带来的影响。

备份恢复服务

备份服务:备份模块负责定时对 MariaDB 进行(物理)备份和二进制文件(Binlog)保存,备份文件将上传到安全等级更高的分布式文件集群中(HDFS)中,通常情况下,备份总是在备节点上面发起,以避免对主节点提供的服务带来冲击。

恢复服务:恢复服务又名回档恢复,由恢复模块负责将 HDFS 上面的备份文件恢复到临时实例上,以便用户检查或调整而不影响主实例的运行。
备份下载:您可以将备份文件转储和下载到指定位置,如价格更低的腾讯云 COS。
两地三中心

MariaDB 两地三中心部署架构:同城节点直线距离大于10KM,异地节点直线距离大于100km,使用腾讯自主研发的高可用调度方案(High Availability,HA)实现。示意图如下:

高性能

基于 PCI-E SSD,强大 IO 性能保障数据库的访问能力,存储固件采用 NVMe 协议,专门针对 PCI-E SSD 设计,更能发挥出性能优势,高 IO 型单实例最大可支持6TB容量、480GB内存和22万以上 QPS (每秒访问次数),性能优势让您以较少的数据库实例支撑更高的业务并发。所有 MariaDB 实例内核都非原版 MariaDB 内核,而是经过腾讯数据库研发基于实际需求修改。而且默认参数都是经过多年的生产实践优化而得,并由专业 DBA 持续对其进行优化,确保 MariaDB 一直基于最佳实践在运行。

功能强大
  • 支持多源复制(Multi-source Replication):为复杂的企业级业务(例如保险的前台、中台、后台、数据仓库)提供有力支持。
  • 支持 XtraDB、TokuDB 等更高级的存储引擎,引入 group commit for the binary log 等技术,有效提高业务性能并减少存储量。
  • 支持线程池(Thread pool)、审计日志等功能。
  • 时钟精确到微秒级别,可用于对时间要求精确度较高的金融交易类业务。
  • 提供虚拟列(函数索引),可有效提供数据库分析统计运算性能。
 
兼容 MySQL

MariaDB 使用 InnoDB 存储引擎,并与 MySQL 5.5、5.6 兼容。意味着:已用于 MySQL 数据库的代码、应用程序、驱动程序和工具,您只需对其进行少量更改甚至无需更改,即可与 MariaDB 配合使用。

 
便宜易用
  • 支持即开即用:您可以通过腾讯云官网 MariaDB 规格定制,下发订单后自动生成 MariaDB 实例。将 MariaDB 配合云服务器 CVM 一起使用,在降低应用响应时间的同时还可以节省公网流量费用。
  • 按需升级:在业务初期,您可以购买小规格的 MariaDB 实例来应对业务压力。随着数据库压力和数据存储量的变化,您可以灵活调整实例规格。
  • 管理便捷:腾讯云负责 MariaDB 的日常维护和管理,包括但不限于软硬件故障处理、数据库补丁更新等工作,保障 MariaDB 运转正常。您也可自行通过腾讯云控制台完成数据库的增加、删除、重启、备份、恢复等管理操作。

 

应用场景

 

数据云灾备(异地灾备)

数据是企业运营的重要组成,信息化带来便利的同时,电子数据、存储信息极易毁损、丢失的特点也暴露了出来。而在自然灾害、系统故障、员工误操作和病毒感染面前,任意一次事故就有可能导致企业的运营完全中断,甚至灾难性损失。因此,确保数据的安全完整性,特别是核心数据库的安全和完整性是每个企业必须考虑的。

而企业自建异地数据灾备中心通常耗资巨大,通常包括一笔开支巨大的机房硬件,软件成本,还包括每年运营费用的持续维护投入。而为了小概率事件买单,往往与企业的财务需求不符。

因此,利用云数据库和云接入产品,可以直接建立云上的一套数据灾备中心,将主数据中心的数据,通过安全专网,实时同步到云上的异地备份中心。不仅解决海量数据的运营管理的问题,而且性价比高。

 
业务系统上云

如果您的业务系统还未上云,可能会遇到如下情况:

  • 业务发展非常快,每年若按峰值准备服务器,其增长规模都是非常大的一笔开销。
  • 新业务部门为了时效性,经常需要快速上线新业务,如果每次都要做准备和采购势必影响效率。
  • 几乎每个业务系统都遭遇过访问量激增,再创历史新高,后端资源无法支撑的情况。
  • 不少企业领导认为 IT 部门就是成本中心,每天关心的核心问题不是推进业务,而是一直在解决问题,例如,系统不稳定或性能不足。

面对如上一系列挑战,腾讯云云数据库通过多年的积累,能够为用户提供:

  • 安全、开放的数据库解决方案。
  • 高可用的方案,采用强同步复制技术和高可用(HA)架构实现高容灾。
  • 支持弹性伸缩。
 
混合云

云数据库 MariaDB 支持专有云部署方案,可以部署在用户自建机房。业务系统和数据通过专线(或 VPN)进行安全同步,构建易扩展的混合云架构。

 
读写分离

云数据库所有实例的备机均默认支持读写分离策略,即支持备机开放只读:

  • 支持通过 SQL 语法或只读帐号实现只读。
  • 如果您选择的配置有多个备机,将自动负载只读策略。
  • 可通过升级配置,增加更多备机。
 
开发测试

您可能需要维护多个软件版本环境进行测试,甚至需要大量资源进行压力测试。传统方案是自建服务器和数据库来支撑该需求,这样就会浪费大量的硬件资源,因为开发人员不会时刻的使用测试资源,因此测试资源往往是闲置的,而利用云服务器、云数据库的弹性伸缩,可以有效的解决基于测试资源不足或测试资源浪费的问题。

 

 

系统架构

 
高可用架构

在生产系统中,通常都需要用高可用方案来保证系统不间断运行,数据库作为系统数据存储和服务的核心能力,其可用要求高于计算服务资源。目前,数据库的高可用方案通常是让多个数据库服务协同工作,当一台数据库故障,余下的立即顶替上去工作,这样就可做到不中断服务或只中断很短时间;或者是让多台数据库同时提供服务,用户可以访问任意一台数据库,当其中一台数据库故障,立即更换访问另外数据库即可。
由于数据库中记录了数据,想要在多台数据库中切换,数据必须是同步的,所以数据同步技术是数据库高可用方案的基础。当前,数据复制有以下三种方式:

  • 异步复制:应用发起更新(含增加、删除、修改操作)请求,Master 完成相应操作后立即响应应用,Master 向 Slave 异步复制数据。因此异步复制方式下,Slave 不可用不影响主库上的操作,而 Master 不可用有概率会引起数据不一致。
  • 强同步复制:应用发起更新请求,Master 完成操作后向 Slave 复制数据,Slave
    接收到数据后向 Master 返回成功信息,Master 接到 Slave 的反馈后再应答给应用。Master 向 Slave
    复制数据是同步进行的,因此 Slave 不可用会影响 Master 上的操作,而 Master 不可用不会引起数据不一致。

     

    注意:

    使用“强同步”复制时,如果主库与备库之间网络中断或备库出现问题,主库也会被锁住(hang),而此时如果只有一个主库或一个备库,那么是无法做高可用方案的。因为单一服务器服务,如果故障会直接导致部分数据完全丢失,不符合金融级数据安全要求。

  • 半同步复制:半同步复制是 google
    提出的一种同步方案,其原理是正常情况下数据复制方式采用强同步复制方式,当 Master 向 Slave 复制数据出现异常的时候(Slave
    不可用或者双节点间的网络异常)退化成异步复制。当异常恢复后,异步复制会恢复成强同步复制。半同步复制意味着 Master
    不可用会有较小概率引起数据不一致。
常见高可用架构
  • 共享存储方案:使用共享存储,如 SAN 存储。SAN 的原理是多台数据库服务器共享同一个存储区域,这样多台数据库都可以“读写”同一份数据。当主库发生故障时,第三方高可用软件把文件系统在备库上挂起,然后在备库上启动数据库即完成切换。
  • 日志同步或流复制同步:数据库最常见复制模式,如 MySQL 数据库。每当写入数据,MySQL
    Master Server 将自己的 Binary Log 通过复制线程传输给 Slave,Slave 接收到 Binary Log 以后,依照
    Binary Log 内容,写入相同数据到文件系统。目前 MySQL 已经提供:

     

    • 异步复制:异步复制可以确保得到快速的响应结构,但是不能确保二进制日志确实到达了 Slave 上,即无法保障数据一致性。
    • 半同步复制:(由 google 提供的同步插件)半同步复制对于客户的请求响应稍微慢点,在超时等情况下,会退化为异步,即基本保障数据一致性,但无法保证数据完全一致性。
  • 基于触发器的同步:使用触发器记录数据变化,然后同步到另一台数据库上。
  • 基于中间件的同步:系统不直接连接到底层数据库,而是连接到一个中间件,中间件把数据库变更发送到底层多台数据库上,从而完成数据同步。早几年,由于业务需求,数据库性能、同步机制等问题,某些软件开发商通常采用类似架构。
 
MariaDB 架构简介

异步多线程强同步复制技术:同步技术发展过程中,提供了异步复制、半同步等同步技术,这两种技术面向普通用户群体,在用户要求不高、网络条件较好、性能压力不大的情况下,能够基本保障数据同步;但通常情况下,采用异步复制、半同步机制容易经常出现数据不一致问题,直接影响系统可靠性,甚至出现丢失交易数据,带来直接或间接经济损失。

腾讯云业务经过多年积累,自主研发出数据库异步多线程强同步复制方案(Multi-thread
Asynchronous Replication,MAR),相比于 Oracle 的 NDB 引擎、Percona XtraDB
Cluster 和 MariaDB Galera Cluster,其性能、效率和适用性更具优势。MAR 强同步方案特点如下:

  • 一致性的同步复制,保证节点间数据强一致性。
  • 对业务层面完全透明,业务层面无需做读写分离或同步强化工作。
  • 将串行同步线程异步化,引入线程池能力,大幅度提高性能。
  • 支持集群架构。
  • 支持自动成员控制,故障节点自动从集群中移除。
  • 支持自动节点加入,无需人工干预。
  • 每个节点都包含完整的数据副本,可以随时切换。
  • 无需共享存储设备。

腾讯 MAR 方案强同步技术,只有当备机数据同步后,才由主机向应用返回事务应答,示意图如下:

从性能上优于其他主流同步方案,通过对比,在跨可用区(
IDC 机房)同样的测试方案下,我们发现其 MAR 技术性能优于 MySQL 半同步约5倍,优于 MariaDB Galera Cluster
性能1.5倍(此处测试使用 sysbench 标准用例测试)。

 

 
 
集群架构

MariaDB 采用集群架构,一套独立 MariaDB 系统至少需要十余系统或组件组成,架构简图如下:

其中,MariaDB 最核心的三个主要模块是:决策调度集群(Tschedule)、数据库节点组(SET)和接入网关集群(TProxy),三个模块的交互都是通过配置集群(TzooKeeper)完成。

  • 数据库节点组(SET):由兼容 MySQL 数据库的引擎、监控和信息采集(Tagent)组成, 其架构有“一个主节点(Master)、若干备节点(Slave_n)、若干异地备份节点(Watcher_m)”,通常情况下:
    • 部署在跨机架、跨机房的服务器中。
    • 通过心跳监控和信息采集模块(Tagent)监控,确保集群的健壮性。
    • 分布式架构下,基于水平拆分,若干个分片(数据库节点组)提供一个“逻辑统一,物理分散”分布式的数据库实例。
  • 决策调度集群(Tschedule):作为集群的管理调度中心,主要管理 SET 的正常运行,记录并分发数据库全局配置,其包括:
    • 调度作业集群(MariaDB Scheduler):帮助数据库管理员或者数据库用户自动调度和运行各种类型的作业,例如数据库备份、收集监控、生成各种报表或者执行业务流程等,MariaDB 把 Schedule、zookeeper、OSS(运营支撑系统)结合起来通过时间窗口激活指定的资源计划,完成数据库在资源管理和作业调度上的各种复杂需求,Oracle 也用 DBMS_SCHEDULER 支持类似的能力。
    • 程序协调与配置集群(TzooKeeper):它为 MariaDB 提供配置维护、选举决策、路由同步等,并能支撑数据库节点组(分片)的创建、删除、替换等工作,并统一下发和调度所有 DDL(数据库模式定义语言)操作,TzooKeeper 部署数量需大于等于三台。
    • 运维支撑系统(OSS):基于 MariaDB 定制开发的一套综合的业务运营和管理平台,同时也是真正融合了数据库管理特点,将网络管理、系统管理、监控服务有机整合在一起。
    • 决策调度集群独立部署在腾讯云全国三大机房中(跨机房部署,异地容灾)。
  • 接入网关集群(TProxy):在网络层连接管理 SQL 解析、分配路由(TProxy 非腾讯云网关 TGW)。
    • 与数据库引擎部署数量相同,分担负载并实现容灾。
    • 从配置集群(TzooKeeper)拉取数据库节点(分片)状态,提供分片路由,实现透明读写。
    • 记录并监控 SQL 执行信息,分析 SQL 执行效率,记录并监控用户接入信息,进行安全性鉴权,阻断风险操作。
    • TProxy 前端部署为腾讯网关系统 TGW,对用户提供唯一一个虚拟 IP 服务。
      这种集群架构极大简化了各个节点之间的通信机制,也简化了对于硬件的需求,这就意味着即使是简单的 x86 服务器,也可以搭建出类似于小型机、共享存储等一样稳定可靠的数据库。
 
 
 
粤ICP备2021087867号-1