Ba kiểu học — phân biệt bằng tín hiệu dạy

TL;DR: Ba kiểu học của machine learning — supervised, unsupervised, reinforcement — không khác nhau ở thuật toán, mà khác nhau ở đúng một thứ: model nhận tín hiệu gì để biết mình đúng hay sai. Supervised có nhãn đúng cho từng mẫu, biết ngay lập tức. Unsupervised không có nhãn nào cả, chỉ có cấu trúc sẵn trong dữ liệu. Reinforcement không có nhãn chỉ dẫn cho từng bước — chỉ có tín hiệu đánh giá dạng điểm thưởng, thường đến thưa/trễ sau cả một chuỗi hành động. Điểm đắt nhất không nằm ở thuật toán mà ở nhãn: nhãn tốn tiền và tốn thời gian, và hệ quả trực tiếp của việc unsupervised không có đáp án là không có thước đo đúng/sai khách quan — đánh giá kết quả trở thành một vấn đề mở.

Team bạn chạy song song ba dự án "AI" trong hệ thống fintech nội bộ: model chặn giao dịch gian lận, model gom nhóm khách hàng theo hành vi, và hệ thống tự tối ưu lịch nhắc nợ. Cả ba bị gọi chung "machine learning", nhưng khi review thiết kế, ba câu hỏi khác hẳn nhau xuất hiện: model gian lận cần bao nhiêu case đã xác nhận mới đủ train? Model gom nhóm "đúng" hay "sai" thì lấy gì đo? Hệ thống nhắc nợ học từ đâu khi không ai gắn nhãn cho từng tin nhắn gửi đi?

Ba câu hỏi đó lộ ra ba kiểu học đang bị gọi chung một tên. Bài này giải thích trục phân biệt duy nhất giữa chúng.

1. Analogy — ba cách một thực tập sinh nhận phản hồi

Hình dung ba thực tập sinh nhận phản hồi theo ba cách khác nhau. Người thứ nhất làm bài có đáp án mẫu — mentor chấm ngay từng câu, biết tức thì. Người thứ hai nhận chồng hồ sơ khách hàng chưa ai phân loại — không ai chấm, chỉ tự nhận ra vài nhóm hành vi lặp lại. Người thứ ba vận hành một quy trình nhiều bước suốt cả tháng — không ai chỉnh từng bước, cuối tháng chỉ biết một con số: đạt KPI hay không.

2. Trục nào phân biệt ba kiểu học?

Mọi model cần một cách biết mình đang làm tốt hay tệ, rồi tự chỉnh theo hướng tốt hơn. Ba kiểu học khác nhau đúng ở nguồn của tín hiệu đó:

• Supervised — có đáp án đúng cho từng mẫu, và có ngay lập tức. Model đưa ra dự đoán, so với nhãn thật, biết sai bao nhiêu, chỉnh theo hướng giảm sai số đó.
• Unsupervised — không có đáp án nào cả. Dữ liệu không đi kèm nhãn; tín hiệu duy nhất model có là cấu trúc sẵn có trong chính dữ liệu — mẫu nào giống mẫu nào, mẫu nào lệch khỏi số đông.
• Reinforcement — không có nhãn chỉ dẫn hành động đúng cho từng bước. Model (thường gọi là tác nhân, tiếng Anh agent) thực hiện một chuỗi hành động; tín hiệu duy nhất nhận được là điểm thưởng — một con số đánh giá hành động đó tốt/xấu bao nhiêu, không chỉ dẫn đáng lẽ phải làm gì. Nhiều bài toán thực tế, điểm thưởng phần lớn bước bằng 0, chỉ khác 0 ở cuối chuỗi — thưa/trễ — khiến khó biết bước nào có công.

Nhìn qua pseudocode, khác biệt nằm ở đúng một dòng — thứ được so sánh để tính tín hiệu chỉnh model:

-- Supervised: nhan dung co san cho tung mau
for each (dau_vao, nhan_dung) in du_lieu_huan_luyen:
    du_doan <- model(dau_vao)
    sai_so <- so_sanh(du_doan, nhan_dung)        -- biet dung/sai ngay lap tuc
    model.chinh(sai_so)

-- Unsupervised: khong co nhan_dung nao ca
for each dau_vao in du_lieu_huan_luyen:
    model.tim_cau_truc(dau_vao)                  -- khong co gi de so sanh
-- ket qua la nhom/cum tu phat hien, khong phai du doan dung/sai

-- Reinforcement: khong co nhan chi dan cho tung hanh dong
trang_thai <- trang_thai_ban_dau
while chua_ket_thuc_chuoi:
    hanh_dong <- chinh_sach(trang_thai)
    trang_thai, thuong <- moi_truong.thuc_hien(hanh_dong)  -- danh gia, khong chi dan; nhieu buoc thuong = 0
-- thuong thua -> kho biet buoc nao thuc su co cong, phai chinh sach theo tong thuong ca chuoi

Dòng so_sanh(du_doan, nhan_dung) chỉ tồn tại ở nhánh supervised. Nhánh unsupervised không có biến nhan_dung để so — "không có đáp án" là khác biệt cụ thể, không phải mô tả mơ hồ. Nhánh reinforcement có thuong mỗi bước, nhưng là tín hiệu đánh giá — không phải nhãn chỉ dẫn như nhan_dung; khi thuong thưa, gán công cho từng hanh_dong là bài toán riêng.

3. Ba paradigm qua ba hệ thống fintech

3.1 Supervised — phân loại giao dịch gian lận

Hệ thống chặn gian lận cần nhãn "gian lận" hoặc "hợp lệ" cho từng giao dịch lịch sử. Nhãn đó đến từ khiếu nại đã xác nhận và chargeback đã xử lý xong — một quy trình nghiệp vụ thật đã kết luận giao dịch đó là gian lận. Model học ánh xạ từ đặc trưng giao dịch (số tiền, giờ, thiết bị, vị trí) sang nhãn đó.

3.2 Unsupervised — phân nhóm khách hàng thành phân khúc chưa ai định nghĩa trước

Đội growth muốn hiểu khách hàng chia thành những nhóm hành vi nào — tần suất giao dịch, số dư trung bình, kênh hay dùng. Không ai gắn nhãn "khách VIP" hay "khách có nguy cơ rời bỏ" từ trước; nếu có, nhãn đó được đặt tên sau khi nhìn thấy nhóm mà model tự tìm ra, không phải trước. Model chỉ nhận dữ liệu hành vi thô, không có đáp án nào để đối chiếu.

3.3 Reinforcement — tối ưu chính sách gửi thông báo nhắc nợ

Hệ thống quyết định gửi nhắc nợ lúc nào, qua kênh nào, bao nhiêu lần. Không có nhãn chỉ dẫn đúng cho từng lần gửi riêng lẻ — chỉ có điểm thưởng đánh giá, và ở đây đến thưa: chỉ rõ sau cả chuỗi quyết định, khi biết khách có thanh toán hay không, thường sau vài lần nhắc. Model học chính sách bằng cách thử nhiều chuỗi hành động và chỉnh dần theo tổng phần thưởng.

4. Điểm đắt nhất không nằm ở thuật toán

Ngộ nhận phổ biến: supervised khó triển khai vì thuật toán phức tạp. Thực tế ngược lại — cái đắt nhất là nhãn, không phải thuật toán học từ nhãn đó.

Nhãn "gian lận" ở ví dụ 3.1 chỉ đáng tin sau khi khiếu nại và chargeback xử lý xong — một quy trình nghiệp vụ tính bằng tháng. Ngược lại, dữ liệu hành vi khách hàng ở ví dụ 3.2 đã nằm sẵn trong log giao dịch, không cần chờ gắn nhãn — rẻ hơn để bắt đầu.

Nhưng cái rẻ hơn đó có giá riêng: unsupervised không có đáp án nên không tồn tại thước đo đúng/sai khách quan. Với model gian lận, "đúng" là khớp nhãn thật — đo được, như so expected trong test: pass hay fail rõ ràng. Với gom nhóm khách hàng, không có expected để so — nhóm tìm ra "đúng" hay không là vấn đề mở, chỉ trả lời được bằng heuristic hoặc đánh giá chuyên môn.

5. Bảng so sánh theo trục tín hiệu dạy

6. Pitfall tổng hợp

❌ Nhầm 1 — nghĩ reinforcement là "khó nhất" nên hiếm khi là lựa chọn đúng:

✅ Ranh giới giữa ba paradigm nằm ở tín hiệu dạy có sẵn, không ở độ khó thuật toán. Nhắc nợ chỉ nhận điểm đánh giá, không có nhãn chỉ dẫn — đó là tín hiệu reinforcement, và ở đây điểm đánh giá còn đến thưa.

❌ Nhầm 2 — nghĩ unsupervised "kém tin cậy hơn" nên tránh dùng khi có thể:

✅ Đây là đánh đổi, không phải thứ hạng. Unsupervised rẻ hơn để bắt đầu nhưng đắt hơn để đánh giá. Chọn paradigm theo bài toán có nhãn sẵn hay không, không theo cảm giác cái nào chắc chắn hơn.

❌ Nhầm 3 — coi reinforcement là supervised với nhãn tới muộn:

✅ Supervised có nhãn chỉ dẫn đúng gắn với từng mẫu — nói thẳng đáng lẽ phải là gì. Reinforcement không có nhãn chỉ dẫn cho bất kỳ bước nào — chỉ có điểm thưởng đánh giá tốt/xấu, có thể đến thưa/trễ. Khác biệt là loại tín hiệu, không phải tốc độ nhận.

7. Đào sâu

8. Liên hệ các bài khác

• Bài 01 — Khi nào cần học từ dữ liệu, khi nào if-else vẫn thắng — trục "cần dữ liệu hay không" đứng trước trục bài này.
• Bài 03 — Dữ liệu, nhãn và chia tập — đào sâu tiếp "nhãn đến từ đâu, tốn kém ra sao" mới mở ở mục 4.
• Bài 06 — LLM trên bản đồ — LLM dùng cả ba kiểu học ở các giai đoạn khác nhau; ba định nghĩa ở đây là điều kiện cần để hiểu bài đó.
• Mini-challenge — đọc mô tả một hệ AI — luyện đọc một mô tả hệ thống và xác định tín hiệu dạy thuộc paradigm nào.

9. Tóm tắt

• Ba kiểu học khác nhau ở tín hiệu dạy: supervised = nhãn có sẵn từng mẫu, unsupervised = không nhãn, reinforcement = điểm thưởng đánh giá thường thưa/trễ.
• Cái đắt nhất của supervised là nhãn — nhãn đáng tin thường phải chờ quy trình nghiệp vụ thật xác nhận, không phải chạy thuật toán.
• Không có đáp án đúng ở unsupervised → không có thước đo đúng/sai khách quan, đánh giá kết quả là vấn đề mở.
• Chọn paradigm theo tín hiệu dạy có sẵn trong bài toán, không theo độ khó thuật toán hay độ phổ biến.

10. Tự kiểm tra

Bài tiếp theo: Dữ liệu, nhãn và chia tập