Xử lý stream (stream processing)

Module 2 — Xử lý stream: tổng quan

Xử lý dòng sự kiện vô tận thay vì khối cố định: log-based broker (Kafka), windowing, stream join và exactly-once. Mặt còn lại của batch ở Module 1.

Tư duy stream — event, input vô tận, xử lý liên tục

Stream xử lý một dòng sự kiện không bao giờ dứt (unbounded): job chạy mãi, phản hồi từng event khi tới. Vì sao input vô tận đổi hẳn cách thiết kế so với batch.

Log-based broker — Kafka, offset, và log chỉ append

Kafka lưu mỗi sự kiện vào log chỉ-append có offset cố định, không xoá sau khi đọc — nhiều consumer đọc độc lập ở tốc độ riêng. Khác broker truyền thống.

Windowing — cắt dòng vô tận thành cửa sổ hữu hạn để tổng hợp

Cắt dòng vô tận thành cửa sổ để tổng hợp: tumbling, hopping, sliding, session. Event-time vs processing-time, và watermark để xử lý event trễ.

Stream join & exactly-once — ghép dòng, đảm bảo không trùng

Ghép hai stream hoặc stream với bảng, và vì sao 'xử lý đúng một lần' khó: đảm bảo exactly-once qua idempotent + atomic commit, cùng fault tolerance của stream.

Lab — thiết kế một stream pipeline thật

Tự thiết kế stream pipeline cho một bài toán thời gian thực: chọn window, xử lý event trễ, lập luận đảm bảo exactly-once. Không có lời giải sẵn.

Module 2 — Tổng kết & cheat sheet

Recap stream: log-based broker (Kafka offset), windowing (event-time, watermark), stream join, exactly-once. Cheat sheet, glossary, self-assessment trước Module 3.