Từ base model đến chat model

TL;DR: Model bạn gọi qua API chat KHÔNG phải cỗ máy dự đoán-token-kế-tiếp thô — nó đã qua hai pha huấn luyện thêm. SFT (supervised fine-tuning) cho model xem ví dụ "câu hỏi → câu trả lời chuẩn" do con người viết, dạy nó dạng hội thoại hỏi-đáp thay vì chỉ viết tiếp bất cứ thứ gì thống kê hay theo sau. RLHF (reinforcement learning from human feedback) chỉnh tiếp bằng lựa chọn con người: model sinh nhiều câu trả lời, người chấm xếp hạng câu nào tốt hơn, model tối ưu theo xếp hạng đó. Hai pha này đổi hành vi — biết dừng, biết từ chối, theo đúng yêu cầu — chứ không nạp thêm sự kiện đáng tin nào.

Một đội build trợ lý tra cứu tài liệu nội bộ, dùng thẳng một base model mã nguồn mở (chưa qua tinh chỉnh) vì rẻ và có sẵn. Prompt: "Cách đổi mật khẩu trong hệ thống X là gì?" Kỳ vọng một câu trả lời. Thực tế model trả về:

Cách đổi mật khẩu trong hệ thống X là gì?
Cách đổi email đăng ký trong hệ thống X là gì?
Cách xoá tài khoản trong hệ thống X là gì?
Cách lấy lại tài khoản bị khoá là gì?

Không có câu trả lời nào — chỉ một danh sách câu hỏi khác, cứ sinh tới khi chạm max_tokens. Đội ngờ prompt sai, thử viết lại năm lần, vẫn vậy. Model không hỏng — nó đang làm đúng thứ nó được huấn luyện để làm: viết tiếp văn bản giống dữ liệu đã thấy. Bài này giải thích vì sao, và hai bước biến nó thành thứ biết "trả lời" thật.

1. Analogy — thực tập sinh mới đọc hết kho tài liệu

Một thực tập sinh vừa vào công ty, việc đầu tiên là đọc toàn bộ email, forum nội bộ, tài liệu FAQ trong ổ lưu trữ — không ai hướng dẫn thêm gì. Người này bắt chước rất giỏi văn phong, nhưng không hiểu vai trò "trả lời khách hàng" nghĩa là gì: đưa cho họ một câu hỏi, phản xạ tự nhiên là viết tiếp theo đúng kiểu văn bản đã đọc — mà trong FAQ, sau một câu hỏi thường là... câu hỏi khác (mục lục, danh sách đề mục), nên họ liệt kê thêm câu hỏi.

Công ty sửa việc này bằng hai bước huấn luyện thêm:

2. Base model — chỉ biết viết tiếp

Base model (pretrained model) là kết quả trực tiếp của vòng lặp đó, huấn luyện trên corpus khổng lồ — sách, web, forum, code — với đúng một mục tiêu: đoán đúng token kế tiếp của văn bản thật. Không có nhãn "đây là câu hỏi", "đây là câu trả lời chuẩn" nào được đưa vào — model chỉ học thống kê "chữ gì hay theo sau chữ gì".

Hệ quả: đưa một câu hỏi cho base model, nó không "hiểu" đó là yêu cầu trả lời — nó tiếp tục chuỗi theo đúng thứ hay xuất hiện sau một câu hỏi trong dữ liệu huấn luyện. Nếu dữ liệu đó là trang FAQ, thứ hay theo sau một câu hỏi là câu hỏi khác — đúng chuyện xảy ra ở scenario mở bài.

3. Pha 1 — SFT dạy dạng hỏi-đáp

SFT (Supervised Fine-Tuning) — tinh chỉnh có giám sát — là bước huấn luyện tiếp base model trên một tập dữ liệu nhỏ hơn nhiều, gồm các cặp (instruction, response mẫu) do con người (thường chuyên gia được thuê) soạn: một yêu cầu, kèm câu trả lời đúng-kiểu-mong-muốn.

Vẫn là bài toán dự đoán-token-kế-tiếp — cơ chế học không đổi — chỉ đổi dữ liệu: model giờ chỉ thấy toàn cặp "hỏi rồi đáp thẳng, gọn, đúng trọng tâm". Học đủ nhiều cặp như vậy, token có xác suất cao nhất sau một câu hỏi không còn là "câu hỏi khác" mà là "bắt đầu câu trả lời".

SFT sửa đúng lỗi ở scenario mở bài — dạy model đúng định dạng hội thoại. Nhưng nó chưa nói được câu trả lời nào hay hơn khi cả hai đều đúng định dạng — cần thêm một bước nữa.

4. Pha 2 — RLHF chỉnh theo lựa chọn con người

RLHF (Reinforcement Learning from Human Feedback) — học tăng cường từ phản hồi con người — chỉnh model đã qua SFT bằng một vòng khác:

1. Model (sau SFT) sinh nhiều câu trả lời khác nhau cho cùng một prompt
2. Người chấm xếp hạng: câu nào tốt hơn câu nào (không cần viết lại từ đầu)
3. Huấn luyện một "reward model" riêng: học dự đoán điểm số
   khớp với thứ tự xếp hạng của người chấm
4. Tối ưu model chính để sinh câu trả lời mà reward model chấm điểm cao hơn

Khác biệt cốt lõi: SFT cần con người viết câu trả lời mẫu (tốn công, phủ ít tình huống); RLHF chỉ cần con người so sánh câu model tự sinh ra — rẻ hơn, phủ rộng hơn vì reward model tổng quát hoá từ các so sánh đó.

Toàn cảnh pipeline:

5. Thử đoán — base model trả lời prompt này thế nào?

Đây là một minh hoạ kinh điển cho khác biệt hành vi này. Base model GPT-3 không giải thích cú hạ cánh mặt trăng — nó tiếp tục bằng một danh sách các câu cùng khuôn mẫu: "Explain the theory of gravity to a 6 year old", "Explain the theory of relativity to a 6 year old", "Explain the big bang theory to a 6 year old"... Vì trong dữ liệu huấn luyện, một câu dạng "Explain X to a 6 year old" thường xuất hiện trong danh sách đề bài/worksheet giáo dục — và điều hay theo sau một đề bài trong danh sách là đề bài kế tiếp, không phải lời giải.

Model cùng kiến trúc, cùng quy mô, sau khi qua SFT + RLHF (InstructGPT trong paper đó) nhận đúng prompt này lại trả lời thẳng: một đoạn giải thích ngắn, đơn giản, đúng đối tượng trẻ 6 tuổi — không liệt kê thêm đề bài nào khác.

Không có gì trong hai model biết thêm sự kiện khác nhau về mặt trăng — cả hai học từ cùng loại dữ liệu về chủ đề đó. Khác biệt duy nhất là hành vi: một bên tiếp tục theo khuôn mẫu thống kê "sau đề bài là đề bài", bên kia đã học "sau một yêu cầu là một câu trả lời trực tiếp, đúng đối tượng".

6. Pitfall tổng hợp

❌ Nhầm 1 — RLHF làm model "biết nhiều hơn" hoặc "đúng sự kiện hơn":

✅ RLHF không nạp sự kiện mới — gốc kiến thức vẫn từ pretrain, nó không dạy được điều model chưa từng gặp. Nhưng vì người gắn nhãn ưu tiên câu trung thực, ít bịa khi xếp hạng, model học xu hướng trả lời đúng hơn: InstructGPT đo được cải thiện truthfulness (khoảng gấp đôi trên TruthfulQA) và giảm hallucination so với GPT-3. Tức RLHF chỉnh hành vi — gồm cả xu hướng trung thực — chứ không mở rộng kho sự kiện.

❌ Nhầm 2 — coi "model không trả lời thẳng, cứ liệt kê thêm câu hỏi" là bug cần sửa prompt:

✅ Với base model, đó là hành vi đúng theo cơ chế — không phải lỗi cần prompt engineering vá. Cách sửa đúng là dùng model đã qua SFT (+ RLHF nếu cần chất lượng cao hơn), không phải viết lại prompt cho base model.

❌ Nhầm 3 — nghĩ SFT và RLHF là một bước, dùng lẫn hai tên:

✅ SFT cần con người viết ví dụ mẫu (tốn, ít tình huống); RLHF chỉ cần con người so sánh câu model tự sinh (rẻ hơn, phủ rộng hơn). Hai cơ chế dữ liệu khác nhau, thường chạy nối tiếp (SFT trước, RLHF sau) chứ không thay thế nhau.

7. 📚 Deep Dive

8. Liên hệ các bài khác

• Bài 01 — Dự đoán token kế tiếp — cơ chế autoregressive mà cả base model lẫn chat model đều dùng; bài này chỉ khác nhau ở dữ liệu huấn luyện thêm, không đổi cơ chế sinh.
• Bài 06 — Hallucination — vì RLHF không nạp thêm sự kiện, hallucination là hệ quả cơ chế còn nguyên vẹn ở cả model đã qua SFT/RLHF.
• Mini-challenge — đọc log ba sự cố — phân biệt sự cố nào do base-vs-chat, sự cố nào do nguyên nhân khác.

9. Tóm tắt

• Base model chỉ được huấn luyện dự đoán token kế tiếp trên corpus thô — không có khái niệm "trả lời câu hỏi", chỉ tiếp tục văn bản theo thống kê đã thấy.
• SFT dạy model dạng hội thoại hỏi-đáp bằng ví dụ mẫu (instruction, response) do con người viết.
• RLHF chỉnh tiếp bằng lựa chọn con người: reward model chấm điểm theo xếp hạng, model tối ưu để điểm cao hơn — rẻ hơn SFT vì không cần viết mẫu, chỉ cần so sánh.
• Cả hai pha chỉnh hành vi (định dạng, biết dừng, biết từ chối, đúng đối tượng) — không nạp thêm sự kiện đáng tin; model chat vẫn có thể sai sự kiện y như base model.
• Ví dụ minh hoạ từ chính paper InstructGPT: cùng prompt, base model liệt kê thêm đề bài cùng khuôn mẫu, model đã qua SFT+RLHF trả lời thẳng đúng đối tượng.

10. Tự kiểm tra

Bài tiếp theo: Hallucination — vì sao model tự tin nói sai