Scaling laws — dự đoán loss khi tăng params, data, compute

TL;DR: Kaplan et al. (2020) quan sát: loss giảm trơn và dự đoán được khi tăng params, data, hoặc compute — không phải may rủi, và transformer tận dụng phần cứng hiệu quả hơn cho chuỗi dài nên đổ compute vào training trở nên rẻ, nhanh, giúp thí nghiệm quy mô lớn khả thi. Nhưng Hoffmann et al. — Chinchilla (2022) — chỉ ra: với compute budget cố định, tăng params mà giữ nguyên data là lãng phí, đúng nguyên lý overfitting — capacity vượt quá tín hiệu học được thì phí. Hệ quả: data chất lượng thành nút thắt thật sự, và "to hơn = tốt hơn" chỉ đúng khi data và compute cũng tăng tương xứng.

Bạn nghe hai lời khuyên tưởng như mâu thuẫn: "cứ scale model lên, loss sẽ giảm" và "nhiều model đang bị to quá mức so với data". Cả hai đều đúng — hai nửa của cùng một bức tranh, cách nhau hai năm nghiên cứu.

1. Analogy — nhà máy và nguyên liệu đầu vào

Bạn được giao một khoản vốn đầu tư cố định để mở nhà máy sản xuất giày. Vốn đó chia làm hai phần: xây dây chuyền (bao nhiêu máy, bao nhiêu công nhân) và nhập nguyên liệu (da, vải, đế) để chạy dây chuyền đó. Nhà máy càng nhiều dây chuyền mà nguyên liệu nhập không đủ, phần lớn dây chuyền đứng không — vốn đổ vào máy móc coi như lãng phí. Ngược lại, một nhà máy vừa đủ nhưng nguyên liệu dồi dào, chạy hết công suất, lại sản xuất được nhiều giày hơn trên cùng một đồng vốn.

2. Kaplan et al.: loss giảm trơn, không phải may rủi

Năm 2020, Kaplan et al. công bố "Scaling Laws for Neural Language Models" — đo loss của hàng loạt model ở nhiều quy mô, thay đổi lần lượt từng trục: số params, lượng data, và compute (tổng khối lượng tính toán bỏ ra để train). Phát hiện chính: tăng bất kỳ trục nào trong ba trục đó, loss không giảm ngẫu nhiên hay bấp bênh — nó giảm theo một xu hướng trơn và dự đoán được, ổn định qua nhiều bậc quy mô. Trước đó, không ai chắc train model lớn hơn mang lại cải thiện ổn định hay chỉ là canh bạc tuỳ lần thử — tính dự đoán được biến việc đổ compute khổng lồ vào training thành một quyết định đầu tư có cơ sở, thay vì canh bạc.

Điều này chỉ thực sự khai thác được nhờ kiến trúc transformer.

Transformer gỡ đúng nút thắt đó, tận dụng phần cứng hiệu quả hơn hẳn cho chuỗi dài, nên đổ thêm GPU (thêm compute) vào một lần train trở nên rẻ và nhanh hơn nhiều. Chính vì chi phí và thời gian train giảm mạnh, các thí nghiệm ở quy mô lớn mới khả thi — và khối lượng thí nghiệm đó tạo ra dữ liệu để Kaplan et al. rút ra quy luật scaling.

3. Gấp đôi model, giữ nguyên data — chuyện gì xảy ra?

Giữ câu trả lời đó trong đầu — mục tiếp theo sẽ cho bạn bằng chứng để đối chiếu.

4. Hoffmann et al. — Chinchilla: cùng compute, to mà thiếu data là lãng phí

Năm 2022, Hoffmann et al. công bố "Training Compute-Optimal Large Language Models" — gọi tắt theo tên model thí nghiệm là nghiên cứu Chinchilla. Câu hỏi họ đặt ra: với một compute budget cố định, nên chia bao nhiêu cho params và bao nhiêu cho data để đạt loss thấp nhất?

Kết luận: rất nhiều model đương thời lệch cán cân quá nhiều về phía params trong khi data gần như giữ cố định — chúng chưa được train đủ so với dung lượng mà chúng có. Muốn tận dụng hết một compute budget, params và data cần tăng cân đối, không phải dồn hết vào làm model to hơn.

Đây chính là đáp án cho Predict ở mục 3: giữ nguyên data mà tăng gấp đôi params, với compute cố định, loss nhiều khả năng giảm ít hơn kỳ vọng — thậm chí kém hơn phương án ngược lại (giữ params, tăng data tương ứng). Phần compute thêm bị đổ vào một model có dung lượng dư nhưng chưa thấy đủ tín hiệu đa dạng để lấp đầy dung lượng đó.

-- Quy tac tu duy nhanh khi co MOT compute budget co dinh
if giu nguyen data va tang params:
    phan compute them roi vao mot model chua kip thay du du lieu moi
    -- ket qua: loss giam it hon ky vong, thap hon phuong an duoi
else if tang ca params va data theo ti le can doi:
    model co du du lieu de lap day dung luong moi cua no
    -- ket qua: dat loss thap hon voi CUNG mot compute budget

5. Hệ quả kỹ sư: vì sao data thành nút thắt, vì sao "to hơn" chỉ đúng có điều kiện

Phát hiện của Hoffmann et al. đổi hướng đầu tư của cả ngành: thay vì chỉ chạy đua làm model to hơn, các đội phải lo đủ lượng data đa dạng và chất lượng để lấp đầy dung lượng model đó — data thành nút thắt thật sự, không kém số params hay số GPU. Đây cũng là lý do model mới liên tục ra đời: mỗi thế hệ cân bằng lại params/data theo đúng compute budget mới có, cộng data mới và cải tiến kiến trúc — không đơn thuần "phiên bản sau to hơn phiên bản trước".

Và đây là lý do "model to hơn luôn tốt hơn" chỉ đúng có điều kiện: đúng khi data và compute cũng tăng tương xứng theo params (đúng quy luật trơn ở mục 2). Data giữ cố định trong khi params cứ tăng thì lợi ích giảm dần rồi lãng phí hẳn — đúng như mục 4 vừa chỉ ra.

6. Pitfall tổng hợp

❌ Nhầm 1 — nghĩ cứ có thêm compute là dồn hết vào tăng params lợi nhất:

✅ Theo Chinchilla, nếu data giữ cố định, phần compute thêm đổ vào params dư sẽ bị lãng phí. Tận dụng hết compute cần tăng data tương xứng theo params.

❌ Nhầm 2 — coi scaling laws là công thức chính xác, áp được cho mọi kiến trúc và dataset mới:

✅ Đây là xu hướng thực nghiệm quan sát trên một họ model cụ thể, ở một thời điểm cụ thể. Nó định hướng quyết định đầu tư ở mức định tính — không thay việc đo thực tế trên đúng kiến trúc và dataset của bạn.

7. Liên hệ các bài khác

• Bài 01 — Nỗi đau của model đọc tuần tự — lý do chỉ kiến trúc song song hoá được (transformer) mới thực sự khai thác được scaling laws.
• Bài 05 — Từ transformer đến LLM — bài ngay trước, giải thích decoder-only và causal mask, nền kiến trúc mà các quy luật scaling này áp lên.
• Overfitting & data leakage — nguyên lý "thêm data giúp tổng quát hoá" ở quy mô nhỏ, lặp lại nguyên vẹn ở quy mô scaling laws.
• Bài 07 — Mini-challenge: đọc sơ đồ kiến trúc — áp trực giác scaling laws khi đọc model card của một LLM thật.

8. Tóm tắt

• Kaplan et al. (2020) quan sát: loss giảm trơn và dự đoán được khi tăng params, data, hoặc compute — không phải may rủi.
• Quan sát này chỉ khai thác được ở quy mô lớn nhờ transformer song song hoá được khi train, khác hẳn model tuần tự ở bài 01.
• Hoffmann et al. — Chinchilla (2022) — chỉ ra: với compute cố định, phải cân đối params và data; lệch quá nhiều về phía params mà data giữ cố định là lãng phí compute.
• Nhiều model theo hướng ưu tiên params trước đó bị "undertrained" — to nhưng chưa thấy đủ data để tận dụng hết dung lượng.
• Nguyên lý ở đây giống hệt overfitting: capacity vượt quá lượng tín hiệu đa dạng model thực sự học được thì phần dư bị lãng phí.
• Hệ quả kỹ sư: data chất lượng trở thành nút thắt thật sự, và "to hơn = tốt hơn" chỉ đúng khi data/compute cũng tăng tương xứng.
• Emergent abilities vẫn là chủ đề đang tranh luận — bài này chỉ nhắc tên, chưa có kết luận chắc chắn ở mức định tính.

9. Tự kiểm tra

Bài tiếp theo: Mini-challenge — Đọc sơ đồ kiến trúc