云数据库MariaDB概述

云数据库 MariaDB（TencentDB for MariaDB）是应用于 OLTP场景下的高安全性的企业级云数据库，一直应用于腾讯计费业务，MariaDB 兼容 MySQL
语法，不仅拥有诸如线程池、审计、异地容灾等高级功能，同时具有云数据库的易扩展性、简单性和高性价比。

相关概念

实例：腾讯云上的 MariaDB 数据库资源。

实例类型：MariaDB 实例在节点数量、读写能力与地域部署上不同的搭配。

只读实例：仅提供读功能的 MariaDB 实例。

灾备实例：提供跨可用区、跨地域灾备能力的 MariaDB 实例。

私有网络：自定义的虚拟网络空间，与其他资源逻辑隔离。

安全组：对 MariaDB 实例进行安全的访问控制，指定进入实例的 IP、协议及端口规则。

地域和可用区：MariaDB 实例和其他资源的物理位置。

腾讯云控制台：基于 Web 的用户界面。

 

产品优势

 
数据强一致性

支持配置强同步复制，在主备架构下，强同步确保主备数据强一致，避免您的数据库在主备切换时丢失数据。当然，您也可以通过修改配置，关闭强同步功能以提高性能。

高安全性
  • 防 DDos 攻击：当用户使用外网连接和访问 MariaDB 实例时，可能会遭受 DDoS 攻击。当 MariaDB 安全体系认为用户实例正在遭受 DDoS 攻击时，会自动启动流量清洗功能。
  • 系统安全：即使在内网，MariaDB 也处于多层防火墙的保护之下，可以有力地抗击各种恶意攻击，保证数据的安全。另外，物理服务器不允许直接登录，只开放特定的数据库服务所需要的端口，有效隔离具有风险的操作。
  • VPC 网络隔离：支持 VPC 网络，以安全隔离内网其他设备的访问。
  • 内网风控：腾讯云数据库团队无法直接访问到 MariaDB 物理机或数据库实例，必须通过腾讯云运维管理平台访问，即使是排查问题也必须在安全设备上，且通过内部风控系统的严格管理。
  • 对象粒度的权限管控：用户可定义到表级的权限，并允许配置访问 MariaDB 的 IP 地址，指定之外的 IP 地址将被拒绝访问。
  • 数据库审计：支持配置数据库审计，记录管理员或用户的操作历史，用于出现风险后的管控。
  • 操作日志：系统记录用户访问腾讯云 Web 管理中心操作 MariaDB 的全部记录，常用于事后追溯。
高可用特性

MariaDB 的设计旨在提供高于99.99%的可用性，提供双机热备，或一主两备，两个备机用于透明的故障转移，还提供故障节点自动修复、自动备份、回档等功能，帮助业务更稳定、安全地运行。

物理高可用

根据您购买实例配置不同，MariaDB 通常采用一主一备双节点、或一主两备三节点架构。每个节点安装在独立跨机架部署的物理机上，确保不会因为单一设备、机架网络故障或断电影响数据库服务。

网络高可用

MariaDB 的每个节点物理机均采用双网卡双连交换机配置，物理网络安全可靠。在实际使用时，TProxy 对接腾讯云网关 TGW；主节点出现故障后，TProxy 最快200ms内切换 DB 路由；若 TProxy 故障，TGW 在1s内负载到其他存活的 TProxy；切换不改变访问 VIP（虚拟 IP），以便屏蔽物理服务器变化带来的影响。

备份恢复服务

备份服务：备份模块负责定时对 MariaDB 进行（物理）备份和二进制文件（Binlog）保存，备份文件将上传到安全等级更高的分布式文件集群中（HDFS）中，通常情况下，备份总是在备节点上面发起，以避免对主节点提供的服务带来冲击。

恢复服务：恢复服务又名回档恢复，由恢复模块负责将 HDFS 上面的备份文件恢复到临时实例上，以便用户检查或调整而不影响主实例的运行。
备份下载：您可以将备份文件转储和下载到指定位置，如价格更低的腾讯云 COS。
两地三中心

MariaDB 两地三中心部署架构：同城节点直线距离大于10KM，异地节点直线距离大于100km，使用腾讯自主研发的高可用调度方案（High Availability，HA）实现。示意图如下：

高性能

基于 PCI-E SSD，强大 IO 性能保障数据库的访问能力，存储固件采用 NVMe 协议，专门针对 PCI-E SSD 设计，更能发挥出性能优势，高 IO 型单实例最大可支持6TB容量、480GB内存和22万以上 QPS (每秒访问次数)，性能优势让您以较少的数据库实例支撑更高的业务并发。所有 MariaDB 实例内核都非原版 MariaDB 内核，而是经过腾讯数据库研发基于实际需求修改。而且默认参数都是经过多年的生产实践优化而得，并由专业 DBA 持续对其进行优化，确保 MariaDB 一直基于最佳实践在运行。

功能强大
  • 支持多源复制（Multi-source Replication）：为复杂的企业级业务（例如保险的前台、中台、后台、数据仓库）提供有力支持。
  • 支持 XtraDB、TokuDB 等更高级的存储引擎，引入 group commit for the binary log 等技术，有效提高业务性能并减少存储量。
  • 支持线程池（Thread pool）、审计日志等功能。
  • 时钟精确到微秒级别，可用于对时间要求精确度较高的金融交易类业务。
  • 提供虚拟列（函数索引），可有效提供数据库分析统计运算性能。
 
兼容 MySQL

MariaDB 使用 InnoDB 存储引擎，并与 MySQL 5.5、5.6 兼容。意味着：已用于 MySQL 数据库的代码、应用程序、驱动程序和工具，您只需对其进行少量更改甚至无需更改，即可与 MariaDB 配合使用。

 
便宜易用
  • 支持即开即用：您可以通过腾讯云官网 MariaDB 规格定制，下发订单后自动生成 MariaDB 实例。将 MariaDB 配合云服务器 CVM 一起使用，在降低应用响应时间的同时还可以节省公网流量费用。
  • 按需升级：在业务初期，您可以购买小规格的 MariaDB 实例来应对业务压力。随着数据库压力和数据存储量的变化，您可以灵活调整实例规格。
  • 管理便捷：腾讯云负责 MariaDB 的日常维护和管理，包括但不限于软硬件故障处理、数据库补丁更新等工作，保障 MariaDB 运转正常。您也可自行通过腾讯云控制台完成数据库的增加、删除、重启、备份、恢复等管理操作。

 

应用场景

 

数据云灾备（异地灾备）

数据是企业运营的重要组成，信息化带来便利的同时，电子数据、存储信息极易毁损、丢失的特点也暴露了出来。而在自然灾害、系统故障、员工误操作和病毒感染面前，任意一次事故就有可能导致企业的运营完全中断，甚至灾难性损失。因此，确保数据的安全完整性，特别是核心数据库的安全和完整性是每个企业必须考虑的。

而企业自建异地数据灾备中心通常耗资巨大，通常包括一笔开支巨大的机房硬件，软件成本，还包括每年运营费用的持续维护投入。而为了小概率事件买单，往往与企业的财务需求不符。

因此，利用云数据库和云接入产品，可以直接建立云上的一套数据灾备中心，将主数据中心的数据，通过安全专网，实时同步到云上的异地备份中心。不仅解决海量数据的运营管理的问题，而且性价比高。

 
业务系统上云

如果您的业务系统还未上云，可能会遇到如下情况：

  • 业务发展非常快，每年若按峰值准备服务器，其增长规模都是非常大的一笔开销。
  • 新业务部门为了时效性，经常需要快速上线新业务，如果每次都要做准备和采购势必影响效率。
  • 几乎每个业务系统都遭遇过访问量激增，再创历史新高，后端资源无法支撑的情况。
  • 不少企业领导认为 IT 部门就是成本中心，每天关心的核心问题不是推进业务，而是一直在解决问题，例如，系统不稳定或性能不足。

面对如上一系列挑战，腾讯云云数据库通过多年的积累，能够为用户提供：

  • 安全、开放的数据库解决方案。
  • 高可用的方案，采用强同步复制技术和高可用（HA）架构实现高容灾。
  • 支持弹性伸缩。
 
混合云

云数据库 MariaDB 支持专有云部署方案，可以部署在用户自建机房。业务系统和数据通过专线（或 VPN）进行安全同步，构建易扩展的混合云架构。

 
读写分离

云数据库所有实例的备机均默认支持读写分离策略，即支持备机开放只读：

  • 支持通过 SQL 语法或只读帐号实现只读。
  • 如果您选择的配置有多个备机，将自动负载只读策略。
  • 可通过升级配置，增加更多备机。
 
开发测试

您可能需要维护多个软件版本环境进行测试，甚至需要大量资源进行压力测试。传统方案是自建服务器和数据库来支撑该需求，这样就会浪费大量的硬件资源，因为开发人员不会时刻的使用测试资源，因此测试资源往往是闲置的，而利用云服务器、云数据库的弹性伸缩，可以有效的解决基于测试资源不足或测试资源浪费的问题。

 

 

系统架构

 
高可用架构

在生产系统中，通常都需要用高可用方案来保证系统不间断运行，数据库作为系统数据存储和服务的核心能力，其可用要求高于计算服务资源。目前，数据库的高可用方案通常是让多个数据库服务协同工作，当一台数据库故障，余下的立即顶替上去工作，这样就可做到不中断服务或只中断很短时间；或者是让多台数据库同时提供服务，用户可以访问任意一台数据库，当其中一台数据库故障，立即更换访问另外数据库即可。
由于数据库中记录了数据，想要在多台数据库中切换，数据必须是同步的，所以数据同步技术是数据库高可用方案的基础。当前，数据复制有以下三种方式：

  • 异步复制：应用发起更新（含增加、删除、修改操作）请求，Master 完成相应操作后立即响应应用，Master 向 Slave 异步复制数据。因此异步复制方式下，Slave 不可用不影响主库上的操作，而 Master 不可用有概率会引起数据不一致。
  • 强同步复制：应用发起更新请求，Master 完成操作后向 Slave 复制数据，Slave
    接收到数据后向 Master 返回成功信息，Master 接到 Slave 的反馈后再应答给应用。Master 向 Slave
    复制数据是同步进行的，因此 Slave 不可用会影响 Master 上的操作，而 Master 不可用不会引起数据不一致。

     

    注意：

    使用“强同步”复制时，如果主库与备库之间网络中断或备库出现问题，主库也会被锁住（hang），而此时如果只有一个主库或一个备库，那么是无法做高可用方案的。因为单一服务器服务，如果故障会直接导致部分数据完全丢失，不符合金融级数据安全要求。

  • 半同步复制：半同步复制是 google
    提出的一种同步方案，其原理是正常情况下数据复制方式采用强同步复制方式，当 Master 向 Slave 复制数据出现异常的时候（Slave
    不可用或者双节点间的网络异常）退化成异步复制。当异常恢复后，异步复制会恢复成强同步复制。半同步复制意味着 Master
    不可用会有较小概率引起数据不一致。
常见高可用架构
  • 共享存储方案：使用共享存储，如 SAN 存储。SAN 的原理是多台数据库服务器共享同一个存储区域，这样多台数据库都可以“读写”同一份数据。当主库发生故障时，第三方高可用软件把文件系统在备库上挂起，然后在备库上启动数据库即完成切换。
  • 日志同步或流复制同步：数据库最常见复制模式，如 MySQL 数据库。每当写入数据，MySQL
    Master Server 将自己的 Binary Log 通过复制线程传输给 Slave，Slave 接收到 Binary Log 以后，依照
    Binary Log 内容，写入相同数据到文件系统。目前 MySQL 已经提供：

     

    • 异步复制：异步复制可以确保得到快速的响应结构，但是不能确保二进制日志确实到达了 Slave 上，即无法保障数据一致性。
    • 半同步复制：（由 google 提供的同步插件）半同步复制对于客户的请求响应稍微慢点，在超时等情况下，会退化为异步，即基本保障数据一致性，但无法保证数据完全一致性。
  • 基于触发器的同步：使用触发器记录数据变化，然后同步到另一台数据库上。
  • 基于中间件的同步：系统不直接连接到底层数据库，而是连接到一个中间件，中间件把数据库变更发送到底层多台数据库上，从而完成数据同步。早几年，由于业务需求，数据库性能、同步机制等问题，某些软件开发商通常采用类似架构。
 
MariaDB 架构简介

异步多线程强同步复制技术：同步技术发展过程中，提供了异步复制、半同步等同步技术，这两种技术面向普通用户群体，在用户要求不高、网络条件较好、性能压力不大的情况下，能够基本保障数据同步；但通常情况下，采用异步复制、半同步机制容易经常出现数据不一致问题，直接影响系统可靠性，甚至出现丢失交易数据，带来直接或间接经济损失。

腾讯云业务经过多年积累，自主研发出数据库异步多线程强同步复制方案（Multi-thread
Asynchronous Replication，MAR），相比于 Oracle 的 NDB 引擎、Percona XtraDB
Cluster 和 MariaDB Galera Cluster，其性能、效率和适用性更具优势。MAR 强同步方案特点如下：

  • 一致性的同步复制，保证节点间数据强一致性。
  • 对业务层面完全透明，业务层面无需做读写分离或同步强化工作。
  • 将串行同步线程异步化，引入线程池能力，大幅度提高性能。
  • 支持集群架构。
  • 支持自动成员控制，故障节点自动从集群中移除。
  • 支持自动节点加入，无需人工干预。
  • 每个节点都包含完整的数据副本，可以随时切换。
  • 无需共享存储设备。

腾讯 MAR 方案强同步技术，只有当备机数据同步后，才由主机向应用返回事务应答，示意图如下：

从性能上优于其他主流同步方案，通过对比，在跨可用区(
IDC 机房)同样的测试方案下，我们发现其 MAR 技术性能优于 MySQL 半同步约5倍，优于 MariaDB Galera Cluster
性能1.5倍（此处测试使用 sysbench 标准用例测试）。

 

 
 
集群架构

MariaDB 采用集群架构，一套独立 MariaDB 系统至少需要十余系统或组件组成，架构简图如下：

其中，MariaDB 最核心的三个主要模块是：决策调度集群（Tschedule）、数据库节点组（SET）和接入网关集群（TProxy），三个模块的交互都是通过配置集群（TzooKeeper）完成。

  • 数据库节点组（SET）：由兼容 MySQL 数据库的引擎、监控和信息采集（Tagent）组成， 其架构有“一个主节点（Master）、若干备节点（Slave_n）、若干异地备份节点（Watcher_m）”，通常情况下：
    • 部署在跨机架、跨机房的服务器中。
    • 通过心跳监控和信息采集模块（Tagent）监控，确保集群的健壮性。
    • 分布式架构下，基于水平拆分，若干个分片（数据库节点组）提供一个“逻辑统一，物理分散”分布式的数据库实例。
  • 决策调度集群（Tschedule）：作为集群的管理调度中心，主要管理 SET 的正常运行，记录并分发数据库全局配置，其包括：
    • 调度作业集群（MariaDB Scheduler）：帮助数据库管理员或者数据库用户自动调度和运行各种类型的作业，例如数据库备份、收集监控、生成各种报表或者执行业务流程等，MariaDB 把 Schedule、zookeeper、OSS（运营支撑系统）结合起来通过时间窗口激活指定的资源计划，完成数据库在资源管理和作业调度上的各种复杂需求，Oracle 也用 DBMS_SCHEDULER 支持类似的能力。
    • 程序协调与配置集群（TzooKeeper）：它为 MariaDB 提供配置维护、选举决策、路由同步等，并能支撑数据库节点组（分片）的创建、删除、替换等工作，并统一下发和调度所有 DDL（数据库模式定义语言）操作，TzooKeeper 部署数量需大于等于三台。
    • 运维支撑系统（OSS）：基于 MariaDB 定制开发的一套综合的业务运营和管理平台，同时也是真正融合了数据库管理特点，将网络管理、系统管理、监控服务有机整合在一起。
    • 决策调度集群独立部署在腾讯云全国三大机房中（跨机房部署，异地容灾）。
  • 接入网关集群（TProxy）：在网络层连接管理 SQL 解析、分配路由（TProxy 非腾讯云网关 TGW）。
    • 与数据库引擎部署数量相同，分担负载并实现容灾。
    • 从配置集群（TzooKeeper）拉取数据库节点（分片）状态，提供分片路由，实现透明读写。
    • 记录并监控 SQL 执行信息，分析 SQL 执行效率，记录并监控用户接入信息，进行安全性鉴权，阻断风险操作。
    • TProxy 前端部署为腾讯网关系统 TGW，对用户提供唯一一个虚拟 IP 服务。
      这种集群架构极大简化了各个节点之间的通信机制，也简化了对于硬件的需求，这就意味着即使是简单的 x86 服务器，也可以搭建出类似于小型机、共享存储等一样稳定可靠的数据库。
 
 
 
粤ICP备2021087867号-1