Module 3 — Tổng kết & bế mạc track

TL;DR: Module 3 ghép batch và stream thành kiến trúc thật. CDC đọc transaction log của database (WAL/binlog) thành stream — thay dual-write bằng đọc-log để tránh bất nhất. Event sourcing lưu chuỗi sự kiện bất biến, dựng lại state bằng replay (+ snapshot khi log dài). CQRS tách write model khỏi read model, đổi eventual consistency lấy read model tối ưu. Lambda vs Kappa kết hợp batch + stream ở tầng kiến trúc: lambda hai codebase (chính xác + real-time), kappa một codebase stream + replay. Đây cũng là trang khép lại cả track Hệ thống Dữ liệu Quy mô lớn.

Đã đi qua những gì

Track có một sợi chỉ xuyên suốt: một nguồn-sự-thật bất biến, nhiều hệ phái sinh luôn tính lại được. CDC là cách lan dữ liệu từ system of record ra hệ phái sinh mà không dual-write — đọc chính transaction log DB đã ghi sẵn (bắt đủ INSERT/UPDATE/DELETE, lag 100–500ms so với polling ≥10s). Event sourcing đẩy ý tưởng bất biến vào chính state nghiệp vụ: lưu event (sự việc đã xảy ra), state là fold của event log — mất state thì replay lại; log dài thì snapshot. CQRS tách trách nhiệm ghi (command) khỏi đọc (query): read model là materialized view cập nhật bất đồng bộ, giá phải trả là eventual consistency (lag ~50ms bình thường, vài giây khi tải cao). Lambda/Kappa trả lời câu "cần cả chính xác của batch lẫn độ trễ của stream thì kết hợp thế nào": lambda ba tầng (batch + speed + serving) nhưng hai codebase dễ drift; kappa một codebase stream + Kafka long-retention để replay, đổi bằng chi phí storage.

flowchart TB
  SOR["System of record<br/>(DB, bat bien)"] -->|"CDC (bai 01)"| STREAM["Stream su kien"]
  SOR -->|"event log"| ES["Event sourcing (bai 02)<br/>replay + snapshot"]
  STREAM --> CQRS["CQRS (bai 03)<br/>read model / materialized view"]
  STREAM --> LK["Lambda/Kappa (bai 04)<br/>batch + stream"]
  ES --> CQRS
  CQRS --> DERIV["Derived views<br/>(index, cache, report)"]
  LK --> DERIV

🗺️ Cheat sheet

📖 Glossary module

⚠️ Pitfall tổng hợp

• Dual-write → ghi DB thành công, ghi Kafka fail → bất nhất im lặng. Dùng CDC đọc-log hoặc outbox.
• CDC schema change → rename cột vỡ downstream. Schema registry + expand-contract.
• applyEvent side-effect → replay gửi lại email/gọi lại API. Giữ applyEvent thuần.
• CQRS read-after-write → đọc read model ngay sau write thấy stale/404. Chấp nhận eventual consistency hoặc đọc write model cho critical.
• Lambda logic drift → batch view và speed view lệch. Cân nhắc kappa hoặc engine hợp nhất.

✅ Self-assessment

Bạn đã đạt module này nếu trả lời được:

• Giải thích được change data capture (CDC) biến database changelog thành stream để đồng bộ hệ phái sinh.
  • Nếu chưa: đọc lại bài 01 mục "CDC là gì" + pitfall dual-write.
• So sánh được event sourcing và CQRS với CRUD truyền thống, lập luận trade-off.
  • Nếu chưa: đọc lại bài 02 (replay/snapshot) và bài 03 (bảng CQRS vs CRUD + eventual consistency).
• So sánh được kiến trúc lambda và kappa khi kết hợp batch với stream, chọn theo yêu cầu.
  • Nếu chưa: đọc lại bài 04 bảng lambda vs kappa + chi phí storage.
• Thiết kế được một hệ dữ liệu phái sinh đầu-cuối nối batch, stream và CDC.
  • Nếu chưa: làm lại bài 05 (capstone).

🎓 Bế mạc track — Hệ thống Dữ liệu Quy mô lớn

Bạn vừa đi hết ba module: Batch (khối bất biến, throughput cao), Stream (dòng vô tận, độ trễ thấp), và Kiến trúc phái sinh (ghép hai thứ đó thành hệ thật). Một ý tưởng nối tất cả: input bất biến là nguồn-sự-thật; mọi thứ khác là phái sinh, luôn tính lại được — từ output batch, đến materialized view CQRS, đến state dựng-lại-bằng-replay của event sourcing. Đây chính là "unbundling database" mà DDIA Chương 12 gọi tên: log làm tầng tích hợp, derived data trôi ra từ đó.

Từ đây, những hướng đi sâu hơn: consensus & consistency (đã học ở track Tier 1 — di-phan-tan), data mesh / lakehouse, và streaming SQL (Flink SQL, ksqlDB, Materialize) như bước kế tiếp thực hành.

📚 Tài liệu mở rộng

• CDC: Debezium docs; How CDC Works — Confluent.
• Event sourcing / CQRS: Event Sourcing — Martin Fowler; CQRS — Martin Fowler.
• Lambda / Kappa: How to beat the CAP theorem — Nathan Marz; Questioning the Lambda Architecture — Jay Kreps.
• Sách: Designing Data-Intensive Applications (Kleppmann), Chương 12 — The Future of Data Systems.