一、问题的本质
在企业数字化实践中，一个普遍但常被低估的挑战是：历史数据（通常以Excel形式存在）的结构与目标数据库的结构存在根本性不匹配。
| 维度 | Excel | 规范化数据库 |
|---|---|---|
| 结构 | 扁平宽表，一行即一个业务对象 | 多表关联，通过外键维护关系 |
| 数据粒度 | 所有费用、属性平铺在一行 | 按实体拆分（物料、人工、费用、组件） |
| 导入方式 | 无约束，可直接追加 | 必须遵循外键依赖顺序 |
以家具制造成本系统为例：Excel中一行包含产品信息、所有物料费用、所有人工费用、其他费用及组件信息。而数据库中需拆分为summary（主表）、material_costs、labor_costs、other_costs、product_component等独立表，且存在严格的依赖关系。
直接导入必然失败，因为子表的外键记录必须先于主表存在。
二、工业级解决方案：导入中间表 + 工作流自动化
核心架构：
text
原始Excel → 导入中间表（扁平结构） → 工作流触发 → 自动创建各子表记录 → 生成汇总主表 → 完成关联
具体实施步骤：
1. 建立导入中间表（import_cost_excel）
- 字段设计完全对齐原始Excel列结构
- 不设外键约束，作为原始数据的“暂存区”
2. 设计拆解工作流（核心）
- 触发条件：中间表新增记录
- 执行顺序（严格按依赖关系）：
- ① 创建/查询
projects、product_types等基础表 - ② 创建
material_costs记录，获取ID - ③ 创建
labor_costs记录，获取ID - ④ 创建
other_costs记录，获取ID - ⑤ 创建
summary主表记录，填入上述外键ID - ⑥ 处理
product_component组件关联
- ① 创建/查询
3. 防重复与可追溯设计
- 设置
is_generated标记字段，避免重复处理 - 记录
source_id和source_table，支持数据回滚与溯源
三、方案优势
| 对比维度 | 手工拆表导入 | 脚本拆CSV导入 | 中间表+工作流（本方案） |
|---|---|---|---|
| 操作复杂度 | 高，易出错 | 中，需编写脚本 | 低，配置一次，持续使用 |
| 外键处理 | 手工填写ID | 需脚本维护映射 | 工作流自动创建并关联 |
| 批量导入能力 | 差，逐行处理 | 好，需维护顺序 | 优秀，工作流批量触发 |
| 可重复性 | 差 | 中 | 优秀，支持重复导入 |
| 可回滚性 | 差 | 差 | 优秀，基于中间表可追溯 |
| 非技术人员可用 | 否 | 否 | 是（配置后） |
四、扩展能力：基于同一架构的高级分析
利用相同的工作流模式，可构建：
1. 明细表驱动的可视化
- 将预算横表转换为
cost_items明细表（竖表） - 字段：成本类型、分类、项目、金额、数量、单价
- 支持：单项目统计、分类占比、多项目汇总、版本对比、预算vs实际
2. 多项目汇总（批次隔离）
- 引入
calc_batch_id（UUID批次号） - 用户选择参与计算的项目版本 → 标记同一batch_id → 工作流聚合 → 写入汇总表
- 优势：用户数据天然隔离，无需全局状态，可并发
3. 版本对比计算（V2 – V1）
- 显式区分base（基准）和target（对比）版本
- 按产品类型分组，计算差值
- 处理产品不一致场景：取两版本产品类型的并集，缺失项按0处理
4. 并发控制
- 加锁字段（
calc_status: idle/running） - 工作流入口校验，防止重复触发
五、适用场景
本方案特别适合以下企业场景：
- 制造业成本/物料清单（BOM）管理
- 工程项目多版本预算对比
- 多门店/多项目数据汇总分析
- 任何需要从Excel导入规范化数据库的迁移项目
六、结语
“导入中间表 + 工作流自动化”不仅解决了扁平到多表的结构转换问题，更构建了一个可扩展的数据处理管道。它将复杂的拆表逻辑从“一次性脚本”升级为“可持续、可追溯、可维护的企业级能力”。
对于正在规划或实施数字化系统的团队，这套模式值得作为标准架构纳入设计考量。