Spring Boot学习：ShardingSphere-JDBC数据分片配置

前言

Spring Boot学习专栏: 传送门

sharding-jdbc配置

下面是Spring Boot项目下的ShardingSphere-JDBC数据分片配置

#数据源名称，多数据源以逗号分隔
spring.shardingsphere.datasource.names=ds0,ds1

#数据源相关连接信息
spring.shardingsphere.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=

spring.shardingsphere.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}
spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE


#默认分片策略，当表没有设置单独的分片规则时，就会使用默认的分片策略。
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{user_id % 2}

配置解析

下面我们就来分析下上面的配置

1、数据源配置： 首先需要配置数据源，指定数据库连接信息，spring.shardingsphere.datasource就是数据源的相关配置，首先在names指定数据源名称，然后再配置相应数据源的连接配置，格式如下

spring.shardingsphere.datasource.<data-source-name>.type= #数据库连接池类名称
spring.shardingsphere.datasource.<data-source-name>.driver-class-name= #数据库驱动类名
spring.shardingsphere.datasource.<data-source-name>.url= #数据库url连接
spring.shardingsphere.datasource.<data-source-name>.username= #数据库用户名
spring.shardingsphere.datasource.<data-source-name>.password= #数据库密码
spring.shardingsphere.datasource.<data-source-name>.xxx= #数据库连接池的其它属性

注：每个data-source-name都需要配置

2、分片规则配置： 针对每个需要进行分片的表，需要配置相应的分片规则。这一部分是在spring.shardingsphere.sharding.tables进行配置，下面我就上述例子进行解析

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}

这个配置是 Sharding-JDBC 中指定实际数据节点的配置，用于表示分片规则中具体的数据节点。它定义了表名为 t_order 的分片规则中的实际数据节点。在该属性值中，使用了占位符和表达式来表示不同的数据节点。

1、t_order表示哪个表需要分片，多个表需要相应进行配置，actual-data-nodes表示配置数据节点，固定值

2、ds$->{0…1} 表示数据源的名称，其中 $->{0…1} 表示占位符，可以被替换为 0 或 1，这里表示有两个数据源，分别为 ds0 和 ds1。

3、t_order$->{0…1} 表示表名的后缀，其中 $->{0…1} 同样表示占位符，可以被替换为 0 或 1，这里表示有两个表名后缀，分别为 t_order0 和 t_order1。

在上述配置中，有两个数据源 ds0 和 ds1，并且有两个表名后缀 t_order0 和 t_order1，那么实际的数据节点将包括 ds0.t_order0、ds0.t_order1、ds1.t_order0、ds1.t_order1 四个。

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id

table-strategy：指定表的分片策略，table-strategy有以下几种策略

1. none 表示不分片，所有数据都存储在同一个表中。

2. standard 表示使用标准分片策略，根据分片键的值进行范围匹配，将数据路由到对应的分片表中。

3. inline 表示使用行表达式分片策略，根据分片键的值通过表达式计算得到分片结果，将数据路由到对应的分片表中。

4. complex 表示使用复合分片策略，可以同时使用多个分片键对数据进行分片计算，将数据路由到对应的分片表中。

具体的table-strategy使用，我会在下面详细解释

spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id

用于指定生成主键的列名，在上述配置中，t_order 表的主键生成列配置为 order_id。这意味着在向 t_order 表插入数据时，ShardingSphere 会自动生成主键，并将生成的主键值赋给 order_id 列

shardingSphere 提供了多种主键生成策略（如雪花算法、UUID 等），可以根据业务需求选择合适的主键生成器。通过配置spring.shardingsphere.sharding.tables.t_order.key-generator.type可以指定生成策略。

spring.shardingsphere.sharding.default-database-strategy

spring.shardingsphere.sharding.default-database-strategy为默认分片策略，当表没有设置单独的分片规则时，就会使用默认的分片策略

我们还可以使用spring.shardingsphere.sharding.default-data-source-name指定默认数据源名称。当未明确指定数据源名称时，ShardingSphere 将使用该属性配置的数据源作为默认数据源。

spring.shardingsphere.sharding.default-data-source-name=ds-0

table-strategy分片策略

table-strategy：指定表的分片策略，下面详细介绍下table-strategy的几种策略

1、standard

对应StandardShardingStrategy，标准分片策略，根据分片键的值进行范围匹配，将数据路由到对应的分片表中，提供对SQL语句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持。StandardShardingStrategy只支持单分片键，提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法。PreciseShardingAlgorithm是必选的，用于处理=和IN的分片。RangeShardingAlgorithm是可选的，用于处理BETWEEN AND, >, <, >=, <=分片，如果不配置RangeShardingAlgorithm，SQL中的BETWEEN AND将按照全库路由处理。

配置standard策略，我们需要实现PreciseShardingAlgorithm和RangeShardingAlgorithm接口来自定义自己的分片算法，如下所示

PreciseShardingAlgorithm实现类

@Component
public class MyTablePreciseShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {

    /**
     * @param tableNames 对应分片库中所有分片表的集合
     * @param shardingValue 为分片属性，logicTableName 为逻辑表，columnName 分片键，value 为从 SQL 中解析出来的分片键的值
     * @return
     */
    @Override
    public String doSharding(Collection<String> tableNames, PreciseShardingValue<Integer> shardingValue) {
        for (String tableName : tableNames) {
            // 取模算法，分片键 % 表数量
            String value = String.valueOf(shardingValue.getValue() % tableNames.size() );
            if (tableName.endsWith(value)) {
                return tableName;
            }
        }
        throw new IllegalArgumentException("分片失败，tableNames：" + tableNames);
    }

    
}

配置文件进行进行配置

#配置分片键
spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
#分片键策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.precise-algorithm-class-name=com.example.demo.shardingsphere.MyTablePreciseShardingAlgorithm

2、none

对应NoneShardingStragey，不分片策略，SQL会被发给所有节点去执行

3、inline

对应InlineShardingStrategy，使用Groovy的表达式，提供对SQL语句中的=和IN的分片操作支持，只支持单分片键。对于简单的分片算法，可以通过简单的配置使用

如我们例子的配置

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}

shardingColumn：指定用于分片计算的列名，这里使用 order_id 字段。
algorithmExpression：指定分片算法表达式，这里使用了内联表达式 t_order$->{order_id % 2}。该表达式表示根据 order_id 的值进行取模运算，结果为0时路由到 t_order0 表，结果为1时路由到 t_order1 表。

4、complex

对应ComplexShardingStrategy。复合分片策略。提供对SQL语句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持，ComplexShardingStrategy支持多分片键，如果表是多分片键的，那么需要使用该策略

使用complex 策略，需要我们自定义一个ComplexShardingAlgorithm实现类，在该实现类定义相关分片算法，如下所示

@Slf4j
public class MyComplexShardingAlgorithm implements ComplexKeysShardingAlgorithm {

    /**
     *
     * @param availableTargetNames 进行分片的表
     * @param shardingValue 
     * @return
     */
    @Override
    public Collection<String> doSharding(Collection availableTargetNames, ComplexKeysShardingValue shardingValue) {
        List<String> result = new ArrayList<>();

        // 获取分片键列和对应的分片键值
        Map<String, Collection<Long>> columnNameAndShardingValuesMap = shardingValue.getColumnNameAndShardingValuesMap();

        // 遍历分片键列和分片键值
        for (Map.Entry<String, Collection<Long>> entry : columnNameAndShardingValuesMap.entrySet()) {
            String columnName = entry.getKey();
            Collection<Long> shardingValues = entry.getValue();
            log.info("分片键："+columnName);
            // 根据分片键列和分片键值进行分片逻辑的实现
            for (Long shardingVal : shardingValues) {
                for (Object availableTargetName : availableTargetNames) {
                    String tableName = availableTargetName.toString();
                    String value = String.valueOf(shardingVal % availableTargetNames.size() );
                    if (tableName.endsWith(value)) {
                        result.add(tableName) ;
                    }
                }
            }
        }
        return result;
    }
}

注：ComplexKeysShardingValue 的 getColumnNameAndShardingValuesMap() 方法返回一个 Map<String, Collection> 对象，用于获取分片键列和对应的分片键值集合。

这个方法的作用是获取所有的分片键列及其对应的分片键值，其中键是分片键列的名称，值是对应的分片键值的集合。通过遍历这个 Map，你可以获得每个分片键列的分片键值集合，并根据自己的业务逻辑进行相应的分片操作。

ComplexKeysShardingValue 的getColumnNameAndRangeValuesMap() 方法返回一个 Map<String, Range> 对象，用于获取分片键列和对应的范围值。

这个方法的作用是获取所有的分片键列及其对应的范围值，其中键是分片键列的名称，值是对应的范围值。通过遍历这个 Map，你可以获得每个分片键列的范围值，并根据自己的业务逻辑进行相应的分片操作。

进行配置

#配置分片键
spring.shardingsphere.sharding.tables.t_order.table-strategy.complex.sharding-columns=order_id,user_id
#分片键策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.complex.algorithm-class-name=com.example.demo.shardingsphere.MyComplexShardingAlgorithm