Spring Boot学习:ShardingSphere-JDBC数据分片配置

2023-12-14 20:39:25

前言

Spring Boot学习专栏: 传送门

sharding-jdbc配置

下面是Spring Boot项目下的ShardingSphere-JDBC数据分片配置

#数据源名称,多数据源以逗号分隔
spring.shardingsphere.datasource.names=ds0,ds1

#数据源相关连接信息
spring.shardingsphere.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=

spring.shardingsphere.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}
spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE


#默认分片策略,当表没有设置单独的分片规则时,就会使用默认的分片策略。
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{user_id % 2}

配置解析

下面我们就来分析下上面的配置

1、数据源配置: 首先需要配置数据源,指定数据库连接信息,spring.shardingsphere.datasource就是数据源的相关配置,首先在names指定数据源名称,然后再配置相应数据源的连接配置,格式如下

spring.shardingsphere.datasource.<data-source-name>.type= #数据库连接池类名称
spring.shardingsphere.datasource.<data-source-name>.driver-class-name= #数据库驱动类名
spring.shardingsphere.datasource.<data-source-name>.url= #数据库url连接
spring.shardingsphere.datasource.<data-source-name>.username= #数据库用户名
spring.shardingsphere.datasource.<data-source-name>.password= #数据库密码
spring.shardingsphere.datasource.<data-source-name>.xxx= #数据库连接池的其它属性

注:每个data-source-name都需要配置

2、分片规则配置: 针对每个需要进行分片的表,需要配置相应的分片规则。这一部分是在spring.shardingsphere.sharding.tables进行配置,下面我就上述例子进行解析

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}

这个配置是 Sharding-JDBC 中指定实际数据节点的配置,用于表示分片规则中具体的数据节点。它定义了表名为 t_order 的分片规则中的实际数据节点。在该属性值中,使用了占位符和表达式来表示不同的数据节点。

1、t_order表示哪个表需要分片,多个表需要相应进行配置,actual-data-nodes表示配置数据节点,固定值

2、ds$->{0…1} 表示数据源的名称,其中 $->{0…1} 表示占位符,可以被替换为 0 或 1,这里表示有两个数据源,分别为 ds0 和 ds1。

3、t_order$->{0…1} 表示表名的后缀,其中 $->{0…1} 同样表示占位符,可以被替换为 0 或 1,这里表示有两个表名后缀,分别为 t_order0 和 t_order1。

在上述配置中,有两个数据源 ds0 和 ds1,并且有两个表名后缀 t_order0 和 t_order1,那么实际的数据节点将包括 ds0.t_order0、ds0.t_order1、ds1.t_order0、ds1.t_order1 四个。

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id

table-strategy:指定表的分片策略,table-strategy有以下几种策略

  1. none 表示不分片,所有数据都存储在同一个表中。

  2. standard 表示使用标准分片策略,根据分片键的值进行范围匹配,将数据路由到对应的分片表中。

  3. inline 表示使用行表达式分片策略,根据分片键的值通过表达式计算得到分片结果,将数据路由到对应的分片表中。

  4. complex 表示使用复合分片策略,可以同时使用多个分片键对数据进行分片计算,将数据路由到对应的分片表中。

具体的table-strategy使用,我会在下面详细解释

spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id

用于指定生成主键的列名,在上述配置中,t_order 表的主键生成列配置为 order_id。这意味着在向 t_order 表插入数据时,ShardingSphere 会自动生成主键,并将生成的主键值赋给 order_id 列

shardingSphere 提供了多种主键生成策略(如雪花算法、UUID 等),可以根据业务需求选择合适的主键生成器。通过配置spring.shardingsphere.sharding.tables.t_order.key-generator.type可以指定生成策略。

spring.shardingsphere.sharding.default-database-strategy

spring.shardingsphere.sharding.default-database-strategy为默认分片策略,当表没有设置单独的分片规则时,就会使用默认的分片策略

我们还可以使用spring.shardingsphere.sharding.default-data-source-name指定默认数据源名称。当未明确指定数据源名称时,ShardingSphere 将使用该属性配置的数据源作为默认数据源。

spring.shardingsphere.sharding.default-data-source-name=ds-0

table-strategy分片策略

table-strategy:指定表的分片策略,下面详细介绍下table-strategy的几种策略

1、standard

对应StandardShardingStrategy,标准分片策略,根据分片键的值进行范围匹配,将数据路由到对应的分片表中,提供对SQL语句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持。StandardShardingStrategy只支持单分片键,提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法。PreciseShardingAlgorithm是必选的,用于处理=和IN的分片。RangeShardingAlgorithm是可选的,用于处理BETWEEN AND, >, <, >=, <=分片,如果不配置RangeShardingAlgorithm,SQL中的BETWEEN AND将按照全库路由处理。

配置standard策略,我们需要实现PreciseShardingAlgorithm和RangeShardingAlgorithm接口来自定义自己的分片算法,如下所示

PreciseShardingAlgorithm实现类

@Component
public class MyTablePreciseShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {

    /**
     * @param tableNames 对应分片库中所有分片表的集合
     * @param shardingValue 为分片属性,logicTableName 为逻辑表,columnName 分片键,value 为从 SQL 中解析出来的分片键的值
     * @return
     */
    @Override
    public String doSharding(Collection<String> tableNames, PreciseShardingValue<Integer> shardingValue) {
        for (String tableName : tableNames) {
            // 取模算法,分片键 % 表数量
            String value = String.valueOf(shardingValue.getValue() % tableNames.size() );
            if (tableName.endsWith(value)) {
                return tableName;
            }
        }
        throw new IllegalArgumentException("分片失败,tableNames:" + tableNames);
    }

    
}

配置文件进行进行配置

#配置分片键
spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
#分片键策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.precise-algorithm-class-name=com.example.demo.shardingsphere.MyTablePreciseShardingAlgorithm

2、none

对应NoneShardingStragey,不分片策略,SQL会被发给所有节点去执行

3、inline

对应InlineShardingStrategy,使用Groovy的表达式,提供对SQL语句中的=和IN的分片操作支持,只支持单分片键。对于简单的分片算法,可以通过简单的配置使用

如我们例子的配置

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}

shardingColumn:指定用于分片计算的列名,这里使用 order_id 字段。
algorithmExpression:指定分片算法表达式,这里使用了内联表达式 t_order$->{order_id % 2}。该表达式表示根据 order_id 的值进行取模运算,结果为0时路由到 t_order0 表,结果为1时路由到 t_order1 表。

4、complex

对应ComplexShardingStrategy。复合分片策略。提供对SQL语句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持,ComplexShardingStrategy支持多分片键,如果表是多分片键的,那么需要使用该策略

使用complex 策略,需要我们自定义一个ComplexShardingAlgorithm实现类,在该实现类定义相关分片算法,如下所示

@Slf4j
public class MyComplexShardingAlgorithm implements ComplexKeysShardingAlgorithm {

    /**
     *
     * @param availableTargetNames 进行分片的表
     * @param shardingValue 
     * @return
     */
    @Override
    public Collection<String> doSharding(Collection availableTargetNames, ComplexKeysShardingValue shardingValue) {
        List<String> result = new ArrayList<>();

        // 获取分片键列和对应的分片键值
        Map<String, Collection<Long>> columnNameAndShardingValuesMap = shardingValue.getColumnNameAndShardingValuesMap();

        // 遍历分片键列和分片键值
        for (Map.Entry<String, Collection<Long>> entry : columnNameAndShardingValuesMap.entrySet()) {
            String columnName = entry.getKey();
            Collection<Long> shardingValues = entry.getValue();
            log.info("分片键:"+columnName);
            // 根据分片键列和分片键值进行分片逻辑的实现
            for (Long shardingVal : shardingValues) {
                for (Object availableTargetName : availableTargetNames) {
                    String tableName = availableTargetName.toString();
                    String value = String.valueOf(shardingVal % availableTargetNames.size() );
                    if (tableName.endsWith(value)) {
                        result.add(tableName) ;
                    }
                }
            }
        }
        return result;
    }
}

注:ComplexKeysShardingValue 的 getColumnNameAndShardingValuesMap() 方法返回一个 Map<String, Collection> 对象,用于获取分片键列和对应的分片键值集合。

这个方法的作用是获取所有的分片键列及其对应的分片键值,其中键是分片键列的名称,值是对应的分片键值的集合。通过遍历这个 Map,你可以获得每个分片键列的分片键值集合,并根据自己的业务逻辑进行相应的分片操作。

ComplexKeysShardingValue 的getColumnNameAndRangeValuesMap() 方法返回一个 Map<String, Range> 对象,用于获取分片键列和对应的范围值。

这个方法的作用是获取所有的分片键列及其对应的范围值,其中键是分片键列的名称,值是对应的范围值。通过遍历这个 Map,你可以获得每个分片键列的范围值,并根据自己的业务逻辑进行相应的分片操作。

进行配置

#配置分片键
spring.shardingsphere.sharding.tables.t_order.table-strategy.complex.sharding-columns=order_id,user_id
#分片键策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.complex.algorithm-class-name=com.example.demo.shardingsphere.MyComplexShardingAlgorithm

文章来源:https://blog.csdn.net/qq_36551991/article/details/135000360
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。