赣州新闻网

首页 / 科技

分库分表实践-Sharding-JDBC

2020-04-05 · 赣州新闻网 · 科技

关于为什么要做分库分表,什么是水平分表,垂直分表等概念,相信大家都知道,这里就不在赘述了。

本文只讲述使用Sharding-JDBC做分库分表的一些实践经验,如果有错误欢迎大& k 0 X家指出。

什么是Shard% / _ & | ing-JDBC

分库分表实践-Sharding-JDBC

ShardingD , ; F Q 2 r N T-jdbc是当当网开源的一款 客户端代理O L g z b # p 中间件。Sharding-jdbc包含分库分片和读写分O ; x 7 % $ #离功能。对应用的代码没有侵入型,几乎没有任何改动,兼容主流orm框架,主+ & X 4 O t 0 L流数据库连接池。目前属于Apache的孵化项目ShardingSphere。

Sharding-B o & D CjdC ) Wbs K : Oc定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的 J R RJ] r R | 8 H 2factId>
<version~ { ) = s E w>4.0.0</version>
</dependency>

Sharding-jdbc功能强大,但是本文重点在于下面几点,未涉及的地方可以翻阅文档查看。

1、单库分表

2、分库分表] U .(含分库单表)

3、分表后的查询

4、分表事务处理

无论上述哪种分库亦或是分表类型,核心无非是下面几个配置:

1、配置数据源,明确你有多少个数据源

2、定义表名,分| I _ ; S [ m表的逻辑表名(t_order)和所有物理表名(t_9 7 L R a ~ &order_0,t_order_1)

3、定义分库列以及分库算法

4、定义分表列以及分表算法

代码实现

单库分表

sharding-jdbc优势就是对代码没有P E B g侵入性,基本上不用动我们原来的代码,只是将相关数据库连接的配置更换为sharding的配置即可。

以我的个人实践项目为例:

原来不分表时的配置:

#项目配置
spring. [ ( . j p i @:
#数据连接配置
datasource:
d! w Y F Y -river-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://xxx.xx.xx.xx:3306/yyms?characterEncoding. v 8 ? H=UTF-8&serve& Z ` R ( p H R wrTimez{ 9 # q 2 ^ ( 9 8one=Asia/Shanghai
username: xxx
password: xxx

使用sharding后的配置

# 分表配置
spring:
shardiZ $ ~ 0 r b m 2ngsphere:
datasource:
names: yyms
yyms:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://xxx.xx.xx.xx:3306/yyms?characterEncodink . V } w R M 4g=UTF-8&serverTimezone=Asia/Shanghai
usernw ( # V b Rame: xx
password: xxx
sharding:
tables:
# 表名
sys_log:
actual-data-nodes: yyms.sF , P | W dys_log_$->{0..1}
# 分表配置,根据id分表
table-Y ^ n c b a q &strategy:
inlG ^ sine:
sharding-column: id
algorithm-expression:* n 4 W @ sys_log_$->{id % 2}
# 配置字段的生成策略,column为字段名,type为生成策略,sharding默认提供SNOWFLAKE和UUID两种,可以自己实现其他策略
key-generator:
cp S 6 4 J
props:
sql:
show: true

上面的配置基本上就实现了单库对sys_log表的拆分,根据id取模算u Y = Z 5法,拆分为sys_log_0和sx ] f H e q b 8ys_log_1两张表。代码层面没有任何改动就实现了拆分,拆分后效果图如下。

分库分表实践-Sharding-JDBC

注意哦,sys_log表拆分后是实际不存在的。

当然了,使m U b 0 ) P i J用官方的默认配置很多时候并不能满足我们的需求。

假如拿到一条数据的id后再去计算数据在哪个库,无疑对我们日常的运维维护工作造成极大的不便。B u _ ` W ` A F r这里我们可以通过一些简单的自定义开发配置实现。

比如我想要id最后一位展示数据所处表所在序号。

多库分表

先展示个多库单表的案例

spring:
shardingsphere:
dQ u g B ` )atasource:
names: ds0,ds1
ds_1:
type: com.zaxxer.hiF T R ekari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
j: ( r ) B | = !db@ t Z + v { Hxxxxq g Q I d:3306/ds0?characterEncoding=UTF-8&serverTimezone=Asia/G h IShanghai
username: xxxx
password: xxxx
sharding:
default-data-source-name: ds0
default-databo _ C R b r Fase-strategy:
inline:
sR M The t *arding-column: id
algorithm-expression: ds$->{id % 2}
tables:
sys_log:
actual-data-nodes: ds$->{0..1}.sys_log
key-generator:3 V n % ! C
column: id
type: SNOWFLAKE
props:
worker:
id: 123

把单张表拆分到多个库,E H % | M同样使用sys_log。效果图如下:

分库分表实践-Sharding-JDBC

其实分库分表无非就是上面两种模式的集合,具体配置的选项,可以参考官方案例配置》》》 我是链接

分库分表后的查询

selectE U l z F T ? 9 R * from sys_log where id=\'444271380247588864\'

接着上面的案例,以上面的语句为例,id为分库列,sharding经过解析后定位到对应的数据源,直接执行下面的查询。

select * from sys_log where id=\'444271380247588864\'

假如我们的查询调节不包含分库列,s + N ( G G 3 9以下面的语句为例:

select * from sys_log wh$ G e D y f 8 Z 8ere userm j U H 1 ? Z 8 h_name=\'zhangsanN o ` $

执行后出现两条sql语句。我们在两个库r m B ~ X ) T y均为5条数据,查询后的结果集为10条数据x T t P a v,符合我v A e f们的预期。u E n c r A q !

数据库:

分库分表实践-Sharding-JDBC

结果集:

分库分表实践-Sharding-JDBC

结论:当搜索条件含有分库列(分表列),这时候sharing会首先调用分库分表策略类,直接找到对应的数据库和对应子表。而当搜索条件不含有分库列时,这时候引擎就不会再调用策略类了,而0 a _ w /是会直X k ^接认定目标库J F B为全部库或表,上述案例中目标库就是,两个数据源,既然目标库有两] 2 P e &个,后面生成的DataNode,TableUnits,PreL l t u k } 3 nparedStatementUnit 将是以前数量的两倍,所以这回,引擎最终将会发起多个sql语句的并发执行,并合并最终的结果再返回。

分库分表后的事务

Sharding-Sphere同时支持XA和柔性事务,它允许每次对Q j ] j数据库的访问,可以自由选择事务类型。分布式事务对业务操作完全透明,极大地降低了引入分布式事务的成本。

分布式事务我感觉在官方的文档和案例中写的已经是比较完善的了,这里大A ] & k 7家可以参考: 我是链接 官方案例实现,这里就不在赘述了。

项目认定工作需求指出维护讲述实践瑞金