Sampling — temperature và top-p

TL;DR: Temperature không phải "nút chỉnh độ thông minh". Nó chỉnh độ nhọn của phân phối xác suất token kế tiếp (bài 01), trước khi một token được chọn. T thấp bóp phân phối nhọn về token khả dĩ nhất, gần như greedy: nhất quán, nhưng cứng nhắc và dễ rơi vào vòng lặp một cụm từ. T cao san phẳng phân phối nên token hiếm cũng có cửa: đa dạng hơn, nhưng dễ rời rạc, lạc đề, chen chữ lạ. top-p (nucleus sampling) là một núm khác hẳn: nó không đổi hình dạng mà cắt tập ứng viên, chỉ giữ nhóm token nhỏ nhất có tổng xác suất từ p trở lên. Hai núm độc lập nhau.

Đội dev nội bộ một ngân hàng chạy UAT hai bot cùng lúc. Bot FAQ tra chính sách để T bằng 0 "cho an toàn, khỏi bịa": tester hỏi một ý bằng năm cách, cả năm lần bot trả gần như nguyên văn một câu, câu dài thì có lúc lặp đi lặp lại. Bot soạn thông báo nội bộ để T gần 2 "cho sinh động" thì sinh câu rời rạc, đang nói lịch nghỉ lễ chen sang chuyện khác, xen cả từ tiếng Anh lạc lõng.

Hai đội đều nghĩ mình đang vặn "độ thông minh của AI", tức đặt sai câu hỏi ngay từ đầu: temperature không đổi những gì model biết, nó chỉ đổi cách model chọn giữa các khả năng đã tính sẵn.

1. Analogy: vòng quay may mắn ở hội chợ

Một gian hàng hội chợ có vòng quay trúng thưởng: phần thưởng "hot" vẽ miếng to, phần thưởng ít ai màng vẽ miếng bé tí, kim dừng ở đâu ăn giải đó.

Ban tổ chức có hai cách can thiệp trước khi bạn quay:

2. Hai núm vặn tác động lên phân phối ra sao?

Toàn cảnh một bước sinh token, nối tiếp từ chỗ bài 01 dừng lại:

Chia cho T và lọc top-p là hai núm độc lập; mục 3 và 4 đi vào từng núm.

3. Temperature làm gì với logits?

Model không tính thẳng ra xác suất. Nó tính ra logits: điểm số thô cho từng token trong vocabulary, số nào cũng được, cộng lại chưa bằng 1. Softmax biến logits thành xác suất: token điểm cao hơn thì xác suất cao hơn, và tổng toàn bộ luôn bằng 1.

T (temperature) chia vào logits trước khi đưa qua softmax:

-- z là logits thô model tính ra, T là temperature
function chon_token_tiep_theo(z[], T):
    for i in z:
        z_scaled[i] <- z[i] / T      -- T nhỏ hơn 1: khoảng cách giãn ra; T lớn hơn 1: co lại
    xac_suat <- softmax(z_scaled)    -- chuẩn hoá, tổng = 1
    return sample(xac_suat)          -- bốc thăm theo trọng số xác suất

Chia cho một số nhỏ hơn 1 làm khoảng cách giữa các logits giãn ra: token vốn điểm cao càng bỏ xa phần còn lại, phân phối nhọn hơn. Chia cho một số lớn hơn 1 làm khoảng cách co lại: các token gần bằng nhau hơn, phân phối phẳng hơn.

Ví dụ minh hoạ (logits giả định cho bốn token tiếp theo của "Hôm nay trời...", tính bằng đúng công thức trên, không phải số đo từ model thật):

Đọc bảng: ở T = 0.5, "đẹp" chiếm gần 70%. Ở T = 2, "lạnh" nhảy từ 7.6% lên gần 15% dù vẫn là token kém hợp lý nhất. Với vocabulary thật hàng chục nghìn token, cả nghìn token lạc quẻ cùng được nâng lên một chút, cộng lại thì cơ hội bốc trúng một token lạc quẻ không còn nhỏ, và mỗi token như vậy kéo câu sau lệch thêm: đó là bot thông báo đầu bài. Bot FAQ (T gần 0) thì lần nào cũng chọn token điểm cao nhất, nên câu trả lời đúc từ một khuôn và cụm từ đã có xác suất cao dễ tự kéo chính nó lặp lại.

Thử ngẫmtăng độ tương phản một tấm ảnh làm vùng sáng sáng hơn, vùng tối tối hơn; giảm tương phản làm mọi vùng nhoè về cùng một sắc xám. Temperature thấp và cao ứng với chỉnh tương phản theo chiều nào?

4. top-p cắt tập ứng viên như thế nào?

top-p (nucleus sampling) giải quyết một vấn đề khác: mỗi token trong "đuôi dài" xác suất thấp chỉ chiếm một mẩu bé, nhưng cộng cả đuôi lại vẫn đáng kể, và T cao chỉ làm đuôi đó dày thêm. Holtzman và cộng sự (The Curious Case of Neural Text Degeneration, arXiv:1904.09751) chỉ ra hai cách văn bản "thoái hoá": chọn kiểu greedy thì dễ lặp vòng, còn sample thẳng từ toàn bộ phân phối thì thỉnh thoảng bốc trúng một token lạc quẻ trong đuôi, và một token đó đủ kéo câu sau trôi đi rời rạc.

Cách chữa của họ: đừng cho đuôi dài cơ hội được bốc thăm ngay từ đầu.

-- xac_suat[] đã sắp xếp giảm dần, p là ngưỡng top-p
function loc_nucleus(xac_suat[], p):
    tong <- 0
    nucleus <- {}
    for token, xs in xac_suat:
        if tong đạt ngưỡng p: break     -- đủ ngưỡng thì dừng, không nhận thêm
        nucleus.add(token)
        tong <- tong + xs
    return chuan_hoa_lai(nucleus)        -- chuẩn hoá lại để tổng = 1 trong tập con

Áp vào đúng phân phối gốc (T = 1) ở mục 3:

Điểm mấu chốt: top-p không đổi tỉ lệ giữa các token còn lại như temperature, nó chỉ quyết định token nào còn đứng trong vòng quay. Ở p = 0.5, dù T = 1 (chưa chỉnh nhọn hay phẳng gì), kết quả luôn là "đẹp": riêng "đẹp" đã chạm ngưỡng 0.5, ba token còn lại bị gạch tên trước khi quay, chỉ còn đúng một ứng viên.

5. Vặn cả hai cùng lúc thì output đổi thế nào?

Nhớ lại dự đoán ở mục 2. Ghép temperature và top-p vào một bảng quyết định:

Hai đội đầu bài không cần đổi model hay viết lại prompt, họ cần vặn đúng chỗ. Bot FAQ muốn bớt cứng nhắc thì nới T lên một chút thay vì giữ 0 tuyệt đối. Bot thông báo muốn bớt rời rạc thì hạ cả T lẫn top-p, không chỉ một trong hai.

6. Pitfall tổng hợp

❌ Nhầm 1: temperature là "độ thông minh" của model.

✅ Temperature không đổi những gì model biết hay tính, nó chỉ đổi cách chọn từ phân phối có sẵn. Model "cứng nhắc" ở T thấp không phải vì kém đi, "sáng tạo" ở T cao không phải vì giỏi hơn.

❌ Nhầm 2: đặt T về 0 là loại bỏ hoàn toàn ngẫu nhiên.

✅ T tiến gần 0 chỉ làm phân phối nhọn tới mức gần-greedy. Trên server thật, sai số dấu phẩy động và cách gom request thành batch vẫn làm logits xê dịch rất nhỏ, đủ đổi thứ hạng khi hai token sát điểm nhau. Muốn chắc output giống hệt thì chạy lại kiểm chứng, đừng suy từ con số T.

❌ Nhầm 3: top-p càng cao càng "an toàn", càng thấp càng "rủi ro".

✅ Ngược lại. p = 1.0 là không lọc gì, giữ nguyên đuôi dài xác suất thấp. p càng thấp mới càng siết chặt, càng gần-greedy. Đọc nhầm chiều tham số này là vặn sai hướng khi debug output rời rạc.

❌ Nhầm 4: thấy output lặp đi lặp lại một cụm từ thì đổ cho temperature quá cao.

✅ Lặp vòng là dấu hiệu của phía ngược lại: T rất thấp hoặc decode kiểu greedy, luôn chọn token điểm cao nhất nên một cụm đã có xác suất cao dễ tự kéo chính nó quay lại. T cao cho ra kiểu lỗi khác: câu rời rạc, lạc đề, token lạ. Phân biệt hai triệu chứng này trước khi vặn núm.

7. 📚 Deep Dive

8. Liên hệ các bài khác

• Bài 01 — Dự đoán token kế tiếp: vòng lặp chứa bước chọn token mà bài này đi sâu.
• Bài 05 — Từ base model đến chat: SFT/RLHF định hình phân phối, sampling quyết định chọn gì từ phân phối đó.
• Bài 06 — Hallucination: output rời rạc do sai cấu hình sampling khác với hallucination, khi model trôi chảy mà bịa nội dung.

9. Tóm tắt

• Chia logits cho T rồi mới softmax: T = 0.5 đẩy "đẹp" từ 50% lên gần 70%, T = 2 kéo "lạnh" từ 7.6% lên gần 15%.
• p = 1.0 nghĩa là không lọc gì; p thấp mới siết tập ứng viên, và ở p = 0.5 ví dụ trong bài chỉ còn đúng một token.
• Lặp vòng là triệu chứng của T thấp/greedy; rời rạc, lạc đề, token lạ là triệu chứng của T cao với đuôi dài còn nguyên.
• Hai núm độc lập: debug output bất thường thì kiểm cả hai.

10. Tự kiểm tra

Bài tiếp theo: Từ base model đến chat