Hệ thống Dữ liệu Phái sinh

Bạn sẽ học được gì

Sau khoá học, bạn sẽ:

• Explain mô hình batch (MapReduce, join) và nhận ra shuffle là external sort phân tán

• Design một stream pipeline với log-based broker, windowing, và đảm bảo exactly-once

• Compare kiến trúc phái sinh (CDC, event sourcing, CQRS, lambda/kappa) và chọn theo yêu cầu

Chương trình

Nội dung khoá học

3 module · 21 bài. Mỗi bài 18-25 phút đọc kỹ — không xem video, không hype.

1. 01

   Xử lý batch (batch processing)

   7 bài · ~83 phút

   • 01Module 1 — Xử lý batch: tổng quan10p
   • 02Tư duy batch processing — input bất biến, output phái sinh12p
   • 03MapReduce — map, shuffle, reduce trên hàng nghìn máy13p
   • 04Join trong batch — sort-merge, broadcast, partitioned13p
   • 05Dataflow engine & fault tolerance — Spark vượt MapReduce12p
   • 06Lab — thiết kế batch pipeline top-sản-phẩm nhiều bước14p
   • 07Module 1 — Tổng kết & cheat sheet9p
2. 02

   Xử lý stream (stream processing)

   7 bài · ~83 phút

   • 01Module 2 — Xử lý stream: tổng quan10p
   • 02Tư duy stream — event, input vô tận, xử lý liên tục11p
   • 03Log-based broker — Kafka, offset, và log chỉ append13p
   • 04Windowing — cắt dòng vô tận thành cửa sổ hữu hạn để tổng hợp13p
   • 05Stream join & exactly-once — ghép dòng, đảm bảo không trùng13p
   • 06Lab — thiết kế một stream pipeline thật14p
   • 07Module 2 — Tổng kết & cheat sheet9p
3. 03

   Kiến trúc phái sinh (CDC, event sourcing, CQRS)

   7 bài · ~90 phút

   • 01Module 3 — Kiến trúc phái sinh: tổng quan10p
   • 02Change Data Capture — biến changelog của DB thành stream13p
   • 03Event sourcing — lưu chuỗi sự kiện thay vì lưu trạng thái13p
   • 04CQRS — tách đường ghi khỏi đường đọc và cái giá nhất quán12p
   • 05Lambda vs Kappa — hai cách kết hợp batch và stream12p
   • 06Capstone — thiết kế một hệ dữ liệu phái sinh đầu-cuối20p
   • 07Module 3 — Tổng kết & bế mạc track10p