Tổng kết: Cỗ máy LLM

TL;DR: Module 3 tháo đúng một cỗ máy: LLM sinh văn bản bằng cách lặp vòng tokenize → context → dự đoán phân phối → sample → decode, và không có bước nào "hiểu" hay "kiểm tra sự thật" chen vào giữa. Năm khái niệm (token, context window, temperature/top-p, SFT/RLHF, hallucination) đều là hệ quả trực tiếp của đúng cơ chế đó. Đây là trang để bookmark.

Đã đi qua những gì

Bạn bắt đầu từ một vòng lặp trơn: tính phân phối, chọn một token, nối vào, lặp lại. Sau đó lần lượt gắn thêm từng mảnh: đơn vị model nhìn thấy là token chứ không phải ký tự, cửa sổ chứa được bao nhiêu token và ai quyết định bỏ gì khi đầy, bước chọn bị temperature và top-p nắn ra sao, hai pha huấn luyện thêm đổi hành vi mà không đổi kiến thức, và vì sao tất cả cộng lại thì hallucination là điều tất yếu. Bài 07 bắt bạn dùng cả bộ đó để đọc ba log sự cố.

🗺️ Cheat sheet

📖 Glossary module

⚠️ Pitfall tổng hợp — đọc từ triệu chứng

Mỗi bài đã có pitfall riêng. Bảng dưới gom lại theo góc của người đang debug: thấy triệu chứng gì, dễ đổ cho cái gì, và cơ chế thật là gì.

✅ Self-assessment

Bạn đã đạt module này nếu trả lời được:

• Trace vòng lặp sinh văn bản của LLM: tokenize → context → dự đoán phân phối → sample → decode.
  • Nếu chưa: đọc lại bài 01 mục 2 và bài 04 mục 2–3.
• Explain vì sao model xử lý token thay vì ký tự, và hệ quả với tiếng Việt, code và chi phí API.
  • Nếu chưa: đọc lại bài 02 mục 2–4.
• Predict hành vi model khi context window tràn và khi temperature/top-p thay đổi.
  • Nếu chưa: đọc lại bài 03 mục 3–4 và bài 04 mục 3–5.
• Distinguish base model vs chat model qua vai trò của SFT và RLHF.
  • Nếu chưa: đọc lại bài 05 mục 2–4.
• Diagnose hallucination từ cơ chế next-token thay vì coi nó là bug ngẫu nhiên.
  • Nếu chưa: đọc lại bài 06 mục 2–4.

🚀 What's next

Module 3 coi model như một hộp đen tính phân phối xác suất: bạn biết nó làm gì, nhưng chưa biết vì sao nó tính được như vậy. Module 4 — Transformer & attention mở hộp đen đó thêm một tầng: vì sao kiến trúc đọc tuần tự cũ (RNN) bị thay thế, attention "nhìn" vào token nào khi dự đoán token kế tiếp, bức tranh lớn của kiến trúc transformer, và scaling laws ở mức định tính. Một module, không cần nền toán sâu.

Xem tiếp: Tổng quan: Transformer & attention

📚 Tài liệu mở rộng

• Paper — vòng lặp next-token: Brown et al. — Language Models are Few-Shot Learners (arXiv:2005.14165)
• Paper — tokenization (BPE): Sennrich, Haddow & Birch — Neural Machine Translation of Rare Words with Subword Units (arXiv:1508.07909)
• Paper — bất công token giữa ngôn ngữ: Petrov et al. — Language Model Tokenizers Introduce Unfairness Between Languages (arXiv:2305.15425)
• Paper — lost-in-the-middle: Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (arXiv:2307.03172)
• Paper — nucleus sampling: Holtzman, Buys, Du, Forbes & Choi — The Curious Case of Neural Text Degeneration (arXiv:1904.09751)
• Paper — SFT + RLHF (InstructGPT): Ouyang et al. — Training language models to follow instructions with human feedback (arXiv:2203.02155)
• Paper — khảo sát hallucination: Ji et al. — Survey of Hallucination in Natural Language Generation (arXiv:2202.03629)