Sampling — temperature và top-p

TL;DR: Temperature không phải "nút chỉnh độ thông minh" — nó chỉnh độ nhọn của phân phối xác suất token kế tiếp (bài 01), trước khi một token được chọn. T thấp bóp phân phối nhọn về token khả dĩ nhất → gần-greedy: nhất quán nhưng dễ lặp. T cao san phẳng phân phối → token hiếm cũng có cửa: đa dạng hơn nhưng dễ rời rạc. top-p (nucleus sampling) là núm khác hẳn — không đổi hình dạng, mà cắt tập ứng viên: chỉ giữ nhóm token nhỏ nhất có tổng xác suất từ p trở lên. Hai núm độc lập nhau.

Đội dev nội bộ ngân hàng chạy UAT hai bot cùng lúc. Bot FAQ tra chính sách set T bằng 0 — "cho an toàn, khỏi bịa". Nhưng tester hỏi cùng một ý bằng năm cách diễn đạt khác nhau, cả năm lần bot trả gần như nguyên văn một câu — đọc như kịch bản dựng sẵn. Cùng lúc, bot soạn thông báo nội bộ set T gần 2 "cho sinh động" — sinh câu đứt mạch, có đoạn lặp một cụm từ vô nghĩa liên tục.

Hai đội đều nghĩ mình đang vặn "độ thông minh của AI". Cả hai sai ngay câu hỏi: temperature không đổi model biết gì — nó chỉ đổi cách model chọn giữa các khả năng đã tính sẵn.

1. Analogy — vòng quay may mắn ở hội chợ

Một gian hàng hội chợ có vòng quay trúng thưởng: phần thưởng "hot" vẽ miếng to, phần thưởng ít ai màng vẽ miếng bé tí. Quay một lần, kim dừng ở đâu ăn giải đó — miếng càng to, cơ hội trúng càng cao.

Ban tổ chức có hai cách can thiệp trước khi bạn quay:

2. Hai núm vặn, một phân phối

Trước khi mổ cơ chế, đoán trước.

Toàn cảnh một bước sinh token, tính từ chỗ bài 01 dừng lại:

Hai hộp giữa — chia cho T và lọc top-p — là hai núm độc lập, tác động lên cùng một phân phối nhưng theo hai cách khác hẳn nhau. Mục 3 và 4 mổ từng hộp.

3. Cơ chế temperature — scale logits trước softmax

Model không tính thẳng ra xác suất. Nó tính ra logits — điểm số thô cho từng token trong vocabulary, số nào cũng được, chưa cộng lại bằng 1. Softmax biến logits thành xác suất: token điểm cao hơn thì xác suất cao hơn, tổng toàn bộ luôn bằng 1.

T (temperature) chia vào logits trước khi đưa qua softmax:

-- z la logits tho model tinh ra, T la temperature
function chon_token_tiep_theo(z[], T):
    for i in z:
        z_scaled[i] <- z[i] / T      -- T nho hon 1: khoang cach gian ra, T lon hon 1: khoang cach thu hep
    xac_suat <- softmax(z_scaled)    -- chuan hoa, tong = 1
    return sample(xac_suat)          -- boc tham theo trong so xac suat

Chia cho một số nhỏ hơn 1 làm khoảng cách giữa các logits giãn ra — token vốn đã cao điểm càng bỏ xa phần còn lại, phân phối nhọn hơn. Chia cho một số lớn hơn 1 làm khoảng cách co lại — mọi token gần bằng nhau hơn, phân phối phẳng hơn.

Ví dụ minh hoạ (logits giả định cho bốn token tiếp theo của "Hôm nay trời...", tính bằng đúng công thức trên, không phải số đo từ model thật):

Đọc bảng: ở T = 0.5, "đẹp" chiếm gần 70% — phần lớn các lần chạy ra "đẹp", nhưng khoảng ba trong mười lần vẫn ra token khác. Ở T = 2, bốn token gần đều nhau hơn hẳn — "lạnh" nhảy từ 7.6% lên gần 15%, dù vẫn là token ít hợp lý nhất. Bot FAQ đầu bài (T gần 0) rơi vào vùng nhất quán tới cứng nhắc; bot thông báo (T gần 2) rơi vào vùng token hiếm áp đảo nhiều lần liên tiếp, output đứt mạch.

4. Cơ chế top-p — cắt tập ứng viên, không đổi hình dạng

top-p (nucleus sampling) giải quyết một vấn đề khác: vocabulary có hàng chục nghìn token, nên dù mỗi token trong "đuôi dài" xác suất thấp chỉ chiếm một mẩu bé, cộng dồn cả đuôi vẫn chiếm phần đáng kể tổng xác suất — T cao chỉ làm đuôi đó phẳng hơn, không loại bỏ nó. Holtzman et al. chỉ ra: sample trúng một token lạc quẻ trong đuôi này đủ kéo cả câu sau trôi rời rạc — họ gọi là text degeneration (The Curious Case of Neural Text Degeneration, arXiv:1904.09751).

Cách chữa: đừng cho đuôi dài cơ hội được rút thăm ngay từ đầu.

-- xac_suat[] da sap xep giam dan, p la nguong top-p
function loc_nucleus(xac_suat[], p):
    tong <- 0
    nucleus <- {}
    for token, xs in xac_suat:
        if tong dat nguong p: break     -- du nguong, dung lai, khong nhan them
        nucleus.add(token)
        tong <- tong + xs
    return chuan_hoa_lai(nucleus)        -- re-normalize de tong = 1 trong tap con

Áp vào đúng phân phối gốc (T = 1) ở mục 3:

Điểm mấu chốt: top-p không đổi tỉ lệ giữa các token còn lại như temperature — nó chỉ quyết định token nào còn được đứng trong vòng quay. Ở p = 0.5, dù T = 1 (chưa chỉnh nhọn/phẳng gì), kết quả luôn ra "đẹp" — vì riêng "đẹp" đã đủ chạm ngưỡng 0.5, cả ba token còn lại bị gạch tên trước khi quay, chỉ còn đúng một ứng viên.

5. Vặn cả hai cùng lúc, output đổi thế nào?

Nhớ lại dự đoán ở mục 2. Ghép temperature và top-p vào một bảng quyết định:

Hai đội ở đầu bài không cần đổi model hay viết lại prompt — họ cần đúng chỗ vặn: bot FAQ muốn bớt cứng nhắc thì nới T lên một chút thay vì giữ 0 tuyệt đối; bot thông báo muốn bớt đứt mạch thì hạ cả T lẫn top-p, không chỉ một trong hai.

6. Pitfall tổng hợp

❌ Nhầm 1 — temperature là "độ thông minh" của model:

✅ Temperature không đổi model biết gì hay tính gì — nó chỉ đổi cách chọn từ phân phối đã có sẵn. Model "cứng nhắc" ở T thấp không phải vì kém đi; "sáng tạo" ở T cao không phải vì giỏi hơn.

❌ Nhầm 2 — set T về 0 để loại bỏ hoàn toàn ngẫu nhiên:

✅ T tiến gần 0 chỉ làm phân phối nhọn tới mức gần-greedy — "gần" không phải "tuyệt đối", tie-break khi vài token cùng điểm vẫn để lại kẽ hở tuỳ hệ thống. Muốn chắc output giống hệt mọi lần, phải chạy lại kiểm chứng, không suy diễn từ con số T.

❌ Nhầm 3 — top-p càng cao càng "an toàn", càng thấp càng "rủi ro":

✅ Ngược lại. p = 1.0 là không lọc gì — giữ nguyên đuôi dài xác suất thấp. p càng thấp mới càng siết chặt, càng gần-greedy. Đọc nhầm chiều tham số này dẫn tới vặn sai hướng khi debug output rời rạc.

7. 📚 Deep Dive

8. Liên hệ các bài khác

• Bài 01 — Dự đoán token kế tiếp — vòng lặp mà bước chọn token trong bài này nằm bên trong.
• Bài 03 — Context window — cấu hình sampling khác cách context bị cắt, nhưng cả hai cùng góp phần model "trôi" xa chủ đề.
• Bài 05 — Từ base model đến chat — SFT/RLHF định hình phân phối, sampling quyết định chọn gì từ phân phối đó.
• Bài 06 — Hallucination — output rời rạc vì sai cấu hình sampling khác với hallucination do model tự tin bịa nội dung.
• Mini-challenge — đọc log ba sự cố — một trong ba sự cố cần đúng bài này để chẩn đoán.

9. Tóm tắt

• Temperature làm phân phối nhọn/phẳng (T thấp → nhất quán; T cao → đa dạng hơn, dễ rời rạc); top-p loại đuôi dài xác suất thấp mà không đổi hình dạng phân phối.
• p = 1.0 nghĩa là không lọc gì; p thấp mới là siết chặt tập ứng viên — hiểu ngược chiều tham số này là pitfall phổ biến.
• Hai núm độc lập: chỉnh temperature không sửa vấn đề của top-p; debug output bất thường cần kiểm cả hai.
• Temperature không phải "độ thông minh" — nó chỉ đổi cách chọn giữa các khả năng model đã tính sẵn.

10. Tự kiểm tra

Bài tiếp theo: Từ base model đến chat