FDE 短课 FDE-15

FDE-15

ETL/数据管道:批 vs 流,增量同步

  • 入门到进阶
  • 集成
  • Day 15

场景:「看板怎么还是上周的数字?」

物业报修项目继续(第 7 到 14 课)。第 13 课把三家承办商的历史工单导进来了,第 14 课用 SQL 查清了沙田到场偏慢。总监把那张表钉到了周一早会的看板上。

周三上午,营运主任发来一条消息:「看板怎么还是上周的数字?承办商乙昨天已经补了人手,新工单应该快了才对。」

问题不在 SQL,而在数据没有持续进来。上次是一次性导入,没有管道。主任接着问:「早会用昨天的数就够了;但住户在 App 里查『师傅到了没』,最好几分钟内能看到。」

这一课讲清楚:怎么把数据持续、可核对地送进系统——先问要多新,再选批还是流,再用增量同步把源系统的负担压下来。

概念

管道要做的三件事

ETL 是 Extract、Transform、Load:从源系统取出数据,整理成约定格式,装进目标库。近些年常见的是把顺序改成 ELT:先把原始数据原样装进仓库(或对象存储),再在里面做转换。对 FDE 来说,两种名字不如一件事重要——先留原始、再转换、转换可重跑。这和第 13 课「原始留档 → 解析 → 规范化 → 校验」是同一条路,只是从「导一次」变成「按约定反复跑」。

flowchart LR
  S[源系统] --> R[原始留档]
  R --> T[规范化与校验]
  T --> C[主题表]
  C --> D[看板 / 查询]

批还是流:先问要多新

批处理流处理
怎么跑按计划(每夜、每小时)收一窗口再处理事件一到就处理
适合早会报表、SLA 统计、对账状态要立刻给住户看、告警
优点简单、便宜、好对账、失败了整批重跑延迟低
代价数据会「过期」一段时间乱序、重复、迟到事件、运维更重

不要把流当成「更高级的批」。多数香港客户的日报、月结,夜间批次就够。源系统也常常只给文件或定时接口,做不了真正的流。常见做法是两套并存:流(或 Webhook)管「现在怎样」,批管「昨天的官方数字」。两套口径要写清楚,避免早会上各看各的数。

第 10 课的完工 Webhook,本身就是一条流:事件推过来,先验签、去重,再入队。不必为了「接近实时」再上一套 CDC。

增量同步:只拉变过的

全量刷新:每次把整表或整文件再拉一遍。逻辑简单,但源库压力大、越跑越慢,还容易在窗口里把正在改的行漏掉或覆盖错。

增量同步:只拉上次成功点之后的变化。常见三种:

做法怎么做会漏什么
水位线(watermark)WHERE updated_at > last_success硬删除;改了行但没更新 updated_at;迟到的旧时间戳
回溯窗口水位线往回多看一两天,靠主键 UPSERT 覆盖仍然看不到硬删除
CDC(变更数据捕获)读数据库事务日志,拿插入、更新、删除要权限和运维配合;很多客户一开始不批

水位线只在「成功写入目标之后」才往前推。如果先推水位再加载,中途失败就会留下缺口,而且下次不会再拉。迟到数据(承办商隔天补了到场时间,updated_at 却仍是旧值,或落在水位线后面)要用回溯窗口,再按 ticket_id 做 UPSERT(有则更新、无则插入),这样重跑也安全。这和第 12 课的幂等是同一件事。

源系统没有可靠的 updated_at、又必须捕捉删除时,再谈 CDC。不要把 CDC 当作默认方案。

香港落地例子

三家数据源并不一样:

  • 承办商甲:每天 02:00(香港时间)把 CSV 放到 SFTP,只有当天文件,没有接口
  • 承办商乙:有工单 API,也接了第 10 课的完工 Webhook
  • 物业自己的工单库:表上有 updated_at,IT 暂不允许读 binlog

落地可以这样切:

  • 早会看板和 SLA 数字(第 14 课那种):每天 03:30 跑一批,等甲的文件到了再开始。增量拉取乙的 API 和内部库(updated_at 加 2 天回溯),文件按第 13 课校验后入库。官方数字只认这批跑完且对账通过的结果。
  • 住户 App 里的「师傅到了没」:用乙的 Webhook,几分钟内能看到;甲没有接口,就写明「以夜间批次为准,次日更新」。
  • 删除和作废:文件和 API 里若只有「还在的单」,增量会把已撤销的工单留在主题表里。要在批次里对当天文件做一次对账:源里没有、目标里还在的,标成作废,不要当成没发生过。

给营运主任的说明可以很短:早会数字每天 03:30 更新,代表截至昨天的对账结果;App 状态来自事件推送,可能和早会数字有几小时差;差在哪、以谁为准,写在口径里。

四类雇主的差异(对照即可):

雇主类型这件事上的侧重点
AI 原生 / 产品公司产品埋点和对话日志常用流;账单、评测集仍走批。原始层留下才能重跑特征
大厂云与平台用托管管道(如 Glue、Dataflow、Data Factory);全量扫描按量计费,增量是成本问题不只是速度问题
咨询与系统集成新鲜度 SLA、失败找谁、重跑步骤写进交付文档,让客户签字
甲方企业内部(如银行、保险)生产库上开 CDC 通常要安全评审;管道跑在客户内网;每次运行留审计;官方报表用日终对账后的批次,不用盘中未完成的流

面试怎么说

题目(公开面经里的常见问法类型):「怎么把客户系统里的数据持续同步到我们这边?」或「批处理和流处理怎么选?」

答题思路:先问业务要多新、源系统能提供什么(文件、API、Webhook,还是可以读日志)。多数报表用批次就够,真正要「现在」的状态再用事件或流,两套口径分开。同步用增量:有可靠时间戳就走水位线加回溯,用主键 UPSERT,保证重跑幂等;水位线只在成功写入后推进。硬删除和时间戳不可靠时再提 CDC,并说明这要源系统授权。最后讲怎么对账、失败怎么重跑、原始数据留在哪。

小练习

用 15 分钟,用纸或一小段 Python:

假设主题表里已有工单 T1(updated_at = 2026-11-16 10:00),上次成功水位线是 2026-11-16 12:00。现在源里又来了三条:

  1. T2 新建,updated_at = 2026-11-16 15:00
  2. T1 补了到场时间,但 updated_at 仍是 2026-11-16 10:00(源系统的缺陷)
  3. T3 昨天就有,今天被整行删除,源库里已经找不到这条

请写:只按 updated_at > 水位线 会处理哪几条、漏掉哪几条;加 2 天回溯再按 ticket_id UPSERT,能补上什么、仍补不上什么;对 T3 你会在批次里加哪一步。

一句话带走

先问数据要多新,再选批或流;增量靠水位线加回溯,成功写入后才推水位;删除要单独对账,官方数字以对过账的批次为准。

自测

  1. 夜间批次跑到一半失败了。同事说「水位线已经推到今晚,明天接着拉就行」。哪里有风险?你怎么办?
  2. 你在一家虚拟银行的内部团队做 FDE,要把核心账户变动同步到反欺诈提示系统。和物业报修相比,批与流、增量策略上你会多注意什么?

先用自己的话写两三句,再打开答案。

参考答案

第 1 题:水位线如果在整批成功写入之前就推进,失败那一段不会再被拉到,目标库会留下缺口。正确做法是:水位线只在本批完整写入(或按分片确认)之后再更新;失败就保留旧水位,修完后从上次成功点重跑。因为入库是按主键 UPSERT 的,重跑不会重复插入。同时还要看失败前是否写了半批:要么整批回滚,要么记录已成功的分片,避免只推了水位、数据却不完整。

第 2 题:新鲜度上,欺诈提示往往需要分钟级的变动事件(可用核心系统的事件流或经批准的 CDC),但监管和日终报表必须用对账完成后的批次,两套口径不能混用。增量上,账户销户、冲正是硬删除或回滚,只靠 updated_at 会漏,通常要 CDC 或源系统提供明确的作废事件;开 CDC 和读生产日志要过安全评审,管道放在银行内网,字段最小化并留审计。还要注意香港时间的日切和「未入账」的盘中数据,不能把未结算的变动当成已确认余额去报警。

系列:上一篇 · SQL 实战:JOIN、窗口函数、在客户数据里查问题 · 下一篇 · 企业系统对接:CRM、ERP、内部系统,以及「没有 API 怎么办」 · 回到索引

在 GitHub 上查看源文