分库分表与多租户专题测试

对

错

使用GORM的多数据库连接,在应用层根据分库键手动选择对应的DB实例

修改GORM源码,在Callback中自动路由到不同的数据库

使用ShardingSphere等数据库中间件,对应用透明地实现分库路由

为每个分库创建独立的GORM模型,通过不同的tag指定数据库

根据分库键精确查询,路由到单个分库执行

不带分库键的全表查询,需要广播到所有分库并聚合结果

根据分库键范围查询,可能涉及多个分库但数量有限

在应用层缓存分库映射,减少路由计算开销

使用 Resolver 配置多数据源

使用 Table 方法

使用 Raw 方法

GORM 不支持分库

使用 Table 方法动态切换表名

使用分区表功能

使用多数据源

GORM 不支持分表

每个租户一个数据库

所有租户共用表,使用 tenant_id 过滤

使用不同的表前缀

以上都可以

只测试路由逻辑,不测试实际的分库数据库

为每个分库创建测试数据库,在集成测试中验证路由和CRUD操作

使用Mock数据库模拟分库行为,避免真实的数据库依赖

只在生产环境验证分库路由,测试环境无法模拟

无法保证 ACID 特性

需要使用分布式事务协议

性能开销大

以上都是

使用数据库自增主键,每个分库独立维护自己的ID序列

使用UUID作为主键,完全避免ID冲突

使用分布式ID生成器(如Snowflake),确保全局唯一

使用应用层计数器,集中管理ID分配

在钩子中自动设置 tenant_id

在所有查询中自动添加 tenant_id 条件

使用 GORM 的 Scope 功能

手动在每个 SQL 中添加

分库键应该是查询中最常用的过滤条件,如用户ID、租户ID

分库键的值分布应该均匀,避免数据倾斜

分库键一旦选定就不能更改,因此应该选择业务稳定不会变更的字段

应该选择更新频繁的字段作为分库键,确保数据分布均衡

多租户数据隔离

读写分离

不同业务模块独立存储

单表性能优化

日志数据按月份存储

订单数据按年份归档

用户数据按地区分布

单表数据量超过千万级

为每个分库创建独立的连接池,通过分库键路由到对应的连接池

所有分库共享同一个连接池,由数据库中间件负责路由

动态创建和销毁分库连接池,根据流量自动扩缩容

连接池的MaxIdleConns和MaxOpenConns应该根据分库数量和业务负载综合配置

两阶段提交(2PC)

TCC 补偿事务

本地消息表

Saga 模式

停机迁移:停止服务,重新分布数据到新的分库结构,完成后恢复服务

双写迁移:新旧分库同时写入,逐步迁移历史数据,完成后切换读路由

在线迁移:通过后台任务逐步迁移数据,迁移期间路由到新库

只迁移热点数据,冷数据保留在原分库不迁移