​splitter用法（Splitter助力解决大集合参数）

splitter用法（Splitter助力解决大集合参数）

1. 概览1.1. 背景

有一次，一个伙伴问我：“MySQL 主键查询那么慢吗，需要几秒才返回？” 对此我也很好奇，从理论上来讲不大可能，主键查询是最快的查询，没有之一。

带着疑问，查看系统日志，大多数请求非常快，基本都在 1、2 ms 内，个别请求可能超过 500ms，甚至有请求超过 3s，整体响应时间非常不均衡。

问题可能出现在哪呢？

发生了类型转换，导致全表扫描？数据库压力过大，影响全局性能？

查看代码，是一个非常简单的 "select * from t where id in (…)" 语句，其中 id 为 Long 类型，无需进行类型转换。但，稍等 in 了多少，程序中没做限制，直接将参数进行拼接，这可能就是问题所在。

完善日志后，继续观察，果然，in 后的参数可能高达几万，甚至十几万，这就太过分了。随后，对其进行调整，将超限参数进行拆分，提升调用频次，降低入参数量，核心代码如下：

privateIntmaxSize=1000; publicListgetByIds(Listids){ List<List>splittedIds=Lists.partition(ids,maxSize); Listentities=Lists.newArrayListWithCapacity(ids.size()); for(Listids2Use:splittedIds){ Listentities1=this.dao.getByIds(ids2Use); entities.addAll(entities1); } returnentities; }

自此，伙伴们就 get 到了新技能，主动对大的参数进行拆分处理。随后公司制定了相应规范，对数据库参数进行限制，不允许过大参数的存在。

但，好景不长，一处小小的 bug 险些造成线上事故。

具体代码如下：

privateintmaxSize=1000; publicListgetByIds(Listids){ List<List>splittedIds=Lists.partition(ids,maxSize); Listentities=Lists.newArrayListWithCapacity(ids.size()); for(Listids2Use:splittedIds){ //在调用方法时，没有使用拆分后的新参数，直接使用拆分前参数 //不仅没有解决大参数问题，而且对大参数进行了放大 //每遇到一个大参数，内存承压巨大，甚至引起OOM Listentities1=this.dao.getByIds(ids); entities.addAll(entities1); } returnentities; }

这种case，很难通过正常测试覆盖；由于过于细节，Code Review 也容易忽略，该怎么从根源上杜绝呢？

1.2. 目标

能力声明式，在不 Coding 的情况下，通过在方法上增加声明式注解，使其具备自动拆分的能力。

目标很明确，拒绝编码，只在方法中增加注解，在方法调用时，使其具备自动拆分和合并的能力。

这就是 splitter 的由来，如果你也遇到过相似问题，可以直接使用。

2. 快速入门

以 Spring-boot 项目为例。

2.1. 添加 starter

首先在spring-boot 项目的pom中增加 splitter-starter，坐标如下：

com.geekhalo.legolego-starter-splitter0.0.1-SNAPSHOT

2.2. 为方法增加 @Split 注解

splitter 提供多种使用方式，可以根据方法签名进行选择。具体如下：

2.2.1. 单集合拆分

这是最简单的方式，其中 @Split 注解：

sizePrePartition。每个分区的参数数量；taskPreThread。每个线程执行的任务数；

@Split(sizePrePartition=2,taskPreThread=2) publicListsplitByList(Listparams){ returnconvert(params); }

2.2.2. 多参数集合拆分

如果存在多个入参，要根据其中一个入参进行拆分，需使用 @SplitParam 对要拆分的参数进行标注。

@Split(sizePrePartition=2,taskPreThread=2) publicListsplitByList(@SplitParamListparams,Longother){ Preconditions.checkArgument(other!=null); returnconvert(params); }

2.2.3. 参数对象拆分

如果使用的是 Param Object 模式（使用一个对象对所有入参进行封装），直接在需要拆分的属性上增加 @SplitParam 即可。

拆分方法如下：

@Split(sizePrePartition=2,taskPreThread=2) publicListsplitByParam(AnnBasedInputParamparam){ Preconditions.checkArgument(param.getOther()!=null); returnconvert(param.getNumbers()); }

AnnBasedInputParam 示例如下：

@Builder @AllArgsConstructor @NoArgsConstructor @Data publicclassAnnBasedInputParam{ @SplitParam privateListnumbers; privateLongother; }

2.2.4. SplittableParam 参数对象

对于复杂的 ParamObject 模式，splitter 提供了 SplittableParam 进行扩展。

拆分方法如下：

@Split(sizePrePartition=2,taskPreThread=2) publicListsplitByParam(SplittableInputParamparam){ Preconditions.checkArgument(param.getOther()!=null); returnconvert(param.getNumbers()); }

SplittableParam 定义如下：

publicinterfaceSplittableParam<PextendsSplittableParam

>{ List

split(intmaxSize); }

SplittableInputParam 示例如下：

@Value @Builder publicclassSplittableInputParamimplementsSplittableParam{ privatefinalListnumbers; privatefinalLongother; @Override publicListsplit(intmaxSize){ List<List>partition=Lists.partition(this.numbers,maxSize); returnpartition.stream() .map(ns->SplittableInputParam.builder() .numbers(ns) .other(other) .build() ).collect(toList()); } }

2.3. 运行效果

测试代码如下：

@Test @Timeout(3) publicvoidsplitByList(){ Listparams=Lists.newArrayList(1L,2L,3L,4L,5L,6L,7L,8L); Listlongs=this.splitTestService.splitByList(params); Assertions.assertEquals(8,longs.size()); }

运行结果如下：

2022-07-2423:17:23.237INFO13309---[main]c.g.lego.splitter.SplitTestService:Threadmainrunwith[1,2] 2022-07-2423:17:23.237INFO13309---[ecutor-Thread-1]c.g.lego.splitter.SplitTestService:ThreadDefault-Split-Executor-Thread-1runwith[5,6] 2022-07-2423:17:24.245INFO13309---[main]c.g.lego.splitter.SplitTestService:Threadmainrunwith[3,4] 2022-07-2423:17:24.245INFO13309---[ecutor-Thread-1]c.g.lego.splitter.SplitTestService:ThreadDefault-Split-Executor-Thread-1runwith[7,8]

从日志中可以看出，框架不仅仅对参数进行拆分，还是用多线程技术，并行执行任务，大大提升系统的响应时间。

3. 设计3.1. 核心流程

splitter 核心流程如下：

核心设计

核心流程包括三个步骤：

拆分，对入参进行拆封，将一个大入参拆分为多个小参数执行，以拆分后的小参数作为入参，执行业务逻辑，获取执行结果；合并，对多个执行结果进行合并，获得最终结果。3.2. 核心组件

与操作步骤对应，核心组件包括：

ParamSplitter 拆分器，完成入参的拆分；MethodExecutor 执行器，执行业务逻辑；Resultmerger 合并器，对结果进行合并；DefaultSplitService 拆分服务，基于以上三个组件，完成拆分流程；3.2.1. ParamSplitter

ParamSplitter 接口定义如下：

publicinterfaceParamSplitter

{ /** *将param按照maxSize进行拆分 *@paramparam原输入参数 *@parammaxSize拆分后，每个分区的最大元素个数 *@return */ List

split(Pparam,intmaxSize); }

SmartParamSplitter 是 ParamSplitter 的一个重要子类，根据类型完成组件装配，其定义如下：

publicinterfaceSmartParamSplitter

extendsParamSplitter

{ /** *是否能支持特定类型 *@paramparamType参数类型 *@return

*1.true能支持paramType的拆分 *2.false不能支持paramType的拆分 */ booleansupport(Class

paramType); }

系统内置实现如下：

ParamSplitter类图

涉及的类包括：

类

含义

AbstractParamSplitter

ParamSpltter 公共父类，用于封装一些通用行为

AbstractFixTypeParamSplitter

固定类型拆分器的父类，从泛型中获取类型信息，并实现 support 方法

AnnBasedParamSplitter

实现带有 @SplitParam 注解的 Param Object 的拆分

SplittableParamSplitter

实现 SplittableParam 子类的拆分

SetParamSplitter

实现对 Set 的拆分

ListParamSplitter

实现对 List 的拆分

InvokeParamsSplitter

实现对 InvokeParams 的拆分

3.2.2. MethodExecutor

MethodExecutor 接口定义如下：

publicinterfaceMethodExecutor{ /** *执行函数，并返回结果 *@paramFunction待执行的函数 *@paramps执行函数所需的参数 *@param

入参 *@param返回值 *@return *所有的执行结果 */Listexecute(Functionfunction,List

ps); }

核心实现包括：

ParamSplitter类图

涉及的类有：

类

含义

AbstractMethodExecutor

抽象父类，实现通用逻辑

SerialMethodExecutor

串行执行器，所有任务在主线程中串行执行

ParallelMethodExecutor

并行执行器，任务在主线程和线程池中并行执行

3.2.3. ResultMerger

ResultMerger 接口定义如下：

publicinterfaceResultMerger{ /** *对多个执行结果进行合并处理 *@paramrs执行结果 *@return合并之后的最终结果 */ Rmerge(Listrs); }

与 ParamSplitter 类似，存在一个 SmartResultMerger 根据类型完成组件装配，其定义如下：

publicinterfaceSmartResultMergerextendsResultMerger{ /** *是否能支持特定结果的合并 *@paramresultType结果类型 *@return */ booleansupport(ClassresultType); }

核心实现包括：

ParamSplitter类图

涉及的类有：

类

含义

AbstractResultMerger

公共父类，对通用逻辑进行封装

AbstractFixTypeResultMerger

固定类型 合并器 公共父类，通过泛型获取类型信息，并实现 support 方法

IntResultMerger

对 int 进行合并，将结果进行 sum 处理

LongResultMerger

对 ling 进合并，将结果进行 sum 处理

ListResultMerger

对 List 进行合并

SetResultMerger

对 Set 进行合并

3.2.4. DefaultSplitService

DefaultSplitService 基于以上三个组件，完成整个拆分流程，核心代码如下：

/** *请求处理流程如下：

*1.对参数P进行拆分

*2.用拆分结果分别调用function获取执行结果

*3.将多个执行结果进行合并，并返回

*@paramfunction执行方法，入参为P，返回值为R *@paramp调用函数入参 *@parammaxSize每批次最大数量 *@return */ @Override publicRsplit(Function