mybatisplus saveBatch版本问题导致CPU打满生产问题定位

mybatisplus savebatch是Mybatis-Plus提供的批量插入数据的方法。它可以一次性插入多条数据，提高数据插入的效率。使用该方法需要传入一个List集合，集合中包含要插入的多条数据。

<think>好的，我现在需要帮用户介绍MyBatis-Plus、EasyExcel，以及如何用它们导入百万数据的Excel到数据库。首先，我得回忆一下这两个框架的基本信息，然后考虑处理大规模数据导入时的常见问题和解决方案。 首先，MyBatis-Plus是MyBatis的增强工具，简化了CRUD操作，用户可能已经知道，但需要简明介绍。EasyExcel是阿里巴巴的Excel处理库，特点是内存占用低，适合处理大文件，这点很重要，尤其是处理百万数据时，传统方式如POI可能导致内存溢出。 接下来，用户的需求是导入百万数据到数据库。这里需要考虑几个步骤：读取Excel、数据转换、批量插入数据库。每一步都可能遇到性能问题，比如内存管理、数据库插入效率。 在读取Excel方面，EasyExcel通过逐行读取的方式，不会一次性加载整个文件到内存，这点需要强调。数据转换可能需要处理字段映射、数据校验，比如去重、格式检查。百万数据如果逐条插入数据库，效率极低，必须使用批量插入，MyBatis-Plus的saveBatch方法可能默认的批量大小不够，需要调整，比如分批处理，每批几千条。 还要考虑事务管理，如果整个导入作为一个事务，可能会占用太多资源，导致性能下降或锁表。所以可能需要分批次提交事务，或者在出错时记录错误而不是回滚整个导入。 此外，异常处理也很重要，比如某条数据格式错误，不应中断整个导入过程，应该捕获异常并记录错误日志，允许后续数据继续处理。同时，导入过程中可能需要进度提示，比如每处理一定数量输出日志，方便监控。 数据库连接池的配置也可能影响性能，确保有足够的连接，但不超过数据库的最大连接数。索引和约束在导入时可能会减慢速度，比如在导入前暂时禁用索引，导入后再重建，但需要权衡数据一致性。 可能的优化点还包括使用多线程读取和处理数据，但要小心线程安全和资源竞争。EasyExcel是否支持多线程读取？可能需要确认文档，通常读取是顺序的，但处理可以并行，不过得注意顺序问题。 数据校验部分，比如字段长度、必填项、唯一性等，应在转换时处理，避免插入数据库时触发异常，影响整体性能。可能需要在应用层先做校验，减少数据库压力。 测试方面，可能需要生成百万数据的测试文件，模拟真实场景，查看内存使用和耗时，调整批处理大小和线程数以达到最优性能。 最后，整合这两个框架的步骤：添加依赖，定义实体类，编写读取监听器，配置MyBatis-Plus的分页插件和批量插入设置，编写服务层逻辑，处理读取、转换、批量插入，以及异常处理和日志记录。 可能用户还会关心实际代码示例，是否需要给出代码结构？比如EasyExcel的监听器如何实现，MyBatis-Plus的批量插入方法调用等。但用户的问题主要是介绍和思路，可能不需要详细代码，但可以简要提及关键部分。 总结，需要分步骤讲解，从框架介绍到导入流程，再到优化策略，确保用户理解如何处理大规模数据导入，避免常见陷阱，提升效率。</think>### 分步解析：MyBatis-Plus、EasyExcel 与百万级 Excel 数据导入 --- #### 一、技术简介 1. **MyBatis-Plus** - **定位**：MyBatis 的增强工具，简化 CRUD 开发（无需编写 XML 或 SQL）。 - **核心特性**： - 内置通用 Mapper/Service，支持单表操作如 `insert()`, `selectList()`, `updateById()` - 分页插件、乐观锁、逻辑删除等开箱即用 - 批量操作优化（如 `saveBatch()` 分批提交） 2. **EasyExcel** - **定位**：阿里巴巴开源的 Excel 处理工具，专注低内存、高性能场景。 - **核心优势**： - 基于事件模型的逐行解析（对比 POI 的全量加载） - 百万行 Excel 内存占用可控制在几十 MB 以内 - 支持复杂格式读取与数据校验 --- #### 二、百万级数据导入流程设计 **目标**：高效、稳定地将 Excel 数据写入数据库，规避 OOM（内存溢出）和性能瓶颈。 ##### 步骤 1：Excel 数据读取 - **逐行读取**：使用 EasyExcel 的 `ReadListener` 监听器逐行解析数据，避免全量加载。 ```java public class DataListener extends AnalysisEventListener<DataModel> { private List<DataModel> buffer = new ArrayList<>(BATCH_SIZE); @Override public void invoke(DataModel data, AnalysisContext context) { buffer.add(data); if (buffer.size() >= BATCH_SIZE) { processAndClearBuffer(); } } @Override public void doAfterAllAnalysed(AnalysisContext context) { processAndClearBuffer(); // 处理剩余数据 } } ``` ##### 步骤 2：数据校验与转换 - **校验规则**： - 字段格式（如日期、数字） - 唯一性检查（如防止重复插入） - 业务逻辑校验（如数值范围） - **优化策略**： - 在内存中缓存关键字段（如唯一键）进行快速去重 - 错误数据记录到日志或错误文件，不阻断整体流程 ##### 步骤 3：批量写入数据库 - **MyBatis-Plus 批量插入**： ```java // 设置批量提交参数（默认批次大小 1000） mybatisPlusConfig.setBatchSize(5000); // 使用 Service 层的 saveBatch() 方法 dataService.saveBatch(dataList); ``` - **优化技巧**： - 调整 `batchSize`（建议 3000~10000，根据数据库性能测试） - 关闭事务自动提交（手动分批提交） - 禁用数据库约束和索引（导入完成后再重建） --- #### 三、关键问题与解决方案 1. **内存溢出风险** - **EasyExcel 内存控制**：通过分片读取（如 `@ExcelIgnore` 忽略非必要字段） - **JVM 参数调优**：增加堆内存 `-Xmx4g`，启用 G1 垃圾回收器 2. **写入性能低下** - **批处理优化**： ```sql -- JDBC URL 添加 rewriteBatchedStatements=true jdbc:mysql://host/db?rewriteBatchedStatements=true ``` - **多线程写入**：将数据分片后由线程池并行处理（需解决线程安全） 3. **数据一致性保障** - **局部回滚**：对每个批次单独事务处理，失败时仅回滚当前批次 - **断点续传**：记录已处理的行号，异常后从中断位置恢复 --- #### 四、完整技术栈配置 ```xml <!-- MyBatis-Plus 依赖 --> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.5.3</version> </dependency> <!-- EasyExcel 依赖 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>3.3.2</version> </dependency> ``` --- #### 五、性能测试参考 - **测试环境**：4 核 CPU / 8GB 内存，MySQL 8.0 - **结果示例**： - 100 万行 Excel（约 150MB） - 读取 + 写入总耗时：约 2 分钟 - 峰值内存占用：约 200 MB --- **总结**：通过 MyBatis-Plus 的批处理能力和 EasyExcel 的低内存解析，结合分批次提交、异步处理等策略，可高效完成百万级数据导入。重点需关注内存管理、批处理优化与异常处理机制。