Transformer block: ghép attention, FFN, residual thành khối

TL;DR: Self-attention thuần không biết token nào đứng trước, đứng sau — nó chỉ so khớp nội dung. Positional encoding vá lỗ hổng đó bằng cách cộng một vector vị trí vào embedding, đúng một lần, trước khi vào block đầu tiên. Một transformer block gồm ba mảnh: self-attention (trộn thông tin giữa các token), FFN (xử lý từng token riêng), và residual connection bao quanh cả hai (giữ input gốc, giúp xếp sâu không "quên" và gradient chảy được). Xếp chồng N block, mỗi lớp xây trên cụm thông tin lớp trước đã gom, biến quan hệ gần thành quan hệ trừu tượng hơn.

1. Analogy — một cuộc họp nhóm, lặp lại N vòng

Hình dung một cuộc họp brainstorm 3 người: Chó, Cắn, Mèo (đúng ba từ bạn sẽ theo dõi xuyên suốt bài này). Trước khi họp, mỗi người được gắn thẻ ghi thứ tự phát biểu — "Người #1", "#2", "#3" — để phân biệt ai nói trước ai nói sau, dù nội dung phát biểu giống nhau.

Họp lặp lại hai bước: nghe (mỗi người nghe cả ba người, kể cả chính mình, rồi tổng hợp thành ý hiểu mới) và tự suy nghĩ riêng (gặm nhấm ý vừa tổng hợp, không trao đổi thêm). Ở cả hai bước, mỗi người đều giữ lại ý kiến ban đầu, cộng thêm phần vừa xử lý — không ai xoá sạch ý cũ để thay hoàn toàn bằng ý mới.

2. Vì sao self-attention một mình không biết ai đứng trước ai?

Bài 02–03 đã giải thích cơ chế self-attention: mỗi token tính một vector query, so khớp với key của mọi token khác (kể cả chính nó), rồi lấy trung bình có trọng số của các vector value. Phép so khớp đó dựa hoàn toàn vào nội dung của vector — token nào giống token nào — chứ không dùng tới "token này đứng ở vị trí thứ mấy".

Không có gì phân biệt vị trí, vector đầu vào của "chó" ở cả hai câu giống hệt nhau — cùng embedding, không mang dấu vết "đứng trước" hay "đứng sau" từ cắn. Self-attention khi đó tính ra cùng một tập điểm tương đồng cho cả hai câu — không có cách nào phân biệt "ai đang cắn", vì phép tính chưa từng nhìn vào vị trí.

3. Positional encoding — dán thẻ thứ tự trước khi vào họp

Positional encoding (mã hoá vị trí) là một vector số học đại diện cho "vị trí thứ mấy trong câu", được cộng thẳng vào embedding của token — giống thẻ số thứ tự phát biểu ở phần analogy. Điểm cần nhớ: bước cộng này chỉ diễn ra một lần duy nhất, ngay tại đầu vào, trước khi vào block đầu tiên — không cộng lại ở mỗi block. Vector kết quả (embedding cộng vị trí) là thứ được đưa vào toàn bộ chuỗi N block phía sau.

Ở mức trực giác: mỗi token mang hai lớp thông tin chồng lên nhau trong cùng một vector — "tôi LÀ từ gì" (embedding) và "tôi ĐỨNG ở đâu" (positional encoding). Nhờ lớp thứ hai, hai token "chó" ở vị trí 1 và 3 của hai câu khác nhau mang vector đầu vào khác nhau dù cùng là từ "chó" — đủ để self-attention phân biệt chủ thể hay tân ngữ dựa trên vị trí tương đối.

4. Một block transformer gồm những gì

Sau khi token đã mang vị trí, nó đi qua một block — đơn vị lặp lại N lần để tạo thành cả model. Một block gồm hai sub-layer, mỗi sub-layer bọc trong một residual connection:

Viết lại bằng pseudocode cho toàn bộ N block, áp dụng cho mọi token trong câu cùng lúc:

for each token t in sequence:
    x[t] <- embedding(t) + positional_encoding(vi tri cua t)   -- cong 1 lan duy nhat, truoc block dau tien

for block b = 1 to N:
    for each token t:
        attn[t] <- self_attention(x[t], toan bo x)   -- tron thong tin GIUA cac token
    for each token t:
        y[t] <- LayerNorm(x[t] + attn[t])            -- residual + norm quanh self-attention
    for each token t:
        ffn[t] <- FFN(y[t])                          -- xu ly TUNG token rieng, KHONG tron giua cac token
        x[t] <- LayerNorm(y[t] + ffn[t])              -- residual + norm quanh FFN
// x[t] sau block N la vector cuoi cung cua token t

Ba mảnh ghép, theo đúng trình tự pseudocode trên:

• Self-attention — sub-layer duy nhất trộn thông tin giữa các token, đúng cơ chế đã học ở bài 02–03.
• FFN (feed-forward network): mạng nơ-ron nhỏ gần giống MLP ở bài 02 module Neural Net — nhưng áp dụng độc lập cho từng token, cùng một bộ trọng số cho mọi vị trí. Đây là bước "tiêu hoá" điều vừa gom từ self-attention.
• Residual connection (đường tắt): cộng thẳng đầu vào một sub-layer vào đầu ra của chính nó. Mỗi block có hai đường tắt — quanh self-attention và quanh FFN.

Layer normalization đi kèm ngay sau mỗi phép cộng residual, đưa giá trị vector về khoảng ổn định — bài này không đào sâu cơ chế, chỉ cần biết vị trí của nó trong sơ đồ trên. Cộng-rồi-chuẩn-hoá (Post-LN) là thiết kế gốc 2017; từ GPT-2 trở đi, phần lớn LLM hiện đại dùng Pre-LN — chuẩn hoá TRƯỚC self-attention/FFN thay vì sau — để train ổn định hơn khi xếp sâu. Nguyên tắc residual + layer norm quanh mỗi sub-layer không đổi, chỉ khác thứ tự.

5. Dự đoán: thiếu bước nào thì hỏng gì?

Đúng như mục 2: thiếu positional encoding, vector đầu vào của "chó" giống hệt nhau ở cả hai câu. FFN xử lý từng token độc lập, residual chỉ cộng dồn chứ không tạo thông tin vị trí mới — không bước nào bù lại lỗ hổng đó. Hệ quả: model không phân biệt được "ai đang cắn" — đây là lý do Vaswani và cộng sự (2017) coi positional encoding là bắt buộc, không phải tuỳ chọn.

6. Trace một token cụ thể qua block

Bám sát ví dụ "Chó cắn mèo." — theo chân token "cắn" (vị trí thứ 2) đi qua một block:

1. Đầu vào: vector của "cắn" = embedding cộng positional encoding vị trí 2.
2. Self-attention: "cắn" tạo query, so khớp key cả ba token. Nhờ vị trí đã gắn từ bước 1, model học được token đứng NGAY TRƯỚC động từ thường là chủ thể, token đứng SAU là tân ngữ — trọng số của "cắn" nghiêng đúng "chó là chủ thể, mèo là tân ngữ".
3. Residual + layer norm quanh self-attention: vector mới = vector bước 1 CỘNG kết quả attention, rồi chuẩn hoá. Ý nghĩa gốc "cắn là động từ" không bị ghi đè — chỉ bồi thêm ngữ cảnh chủ thể/tân ngữ.
4. FFN: vector mang ngữ cảnh qua một MLP nhỏ, xử lý MỘT MÌNH — không còn nhìn "chó" hay "mèo".
5. Residual + layer norm quanh FFN: vector cuối = vector bước 3 cộng kết quả FFN, chuẩn hoá lần nữa — là output của "cắn" tại block này, thành đầu vào ở block kế tiếp.

Token "chó" và "mèo" trải qua đúng năm bước tương tự song song, chỉ khác nội dung vector và trọng số attention.

7. Xếp chồng N block: từ quan hệ gần tới quan hệ trừu tượng

Output của block 1 trở thành input của block 2 — cùng cấu trúc lặp lại, nhưng self-attention ở block 2 không thao tác trên embedding "thô", mà trên vector đã được block 1 "tiền xử lý".

Xét câu dài hơn: "Con mèo mà tôi nuôi hôm qua đã ăn hết cá." Chủ thể thật của "ăn" là "con mèo", nhưng hai từ cách xa nhau. Ở block 1, self-attention dễ gom token liền kề thành cụm có nghĩa: "con" ghép "mèo" thành biểu diễn đậm nét hơn. Ở block 2, self-attention làm việc với cụm đã gom sẵn đó — nối "con mèo" với "ăn" ở xa dễ hơn, vì tiền xử lý cục bộ đã xong.

Xếp chồng thêm block chính là compose nhiều vòng xử lý lên nhau — đúng nguyên lý ở recall đầu bài: mỗi lớp xây trên đầu ra của lớp trước, nên cả chuỗi N lớp làm được điều một lớp đơn không làm được. Cụ thể: lớp dưới gom quan hệ giữa token gần nhau, lớp trên ghép các cụm đó thành quan hệ xa và trừu tượng hơn.

8. Pitfall tổng hợp

❌ Nhầm 1: nghĩ attention "thông minh" nên tự khắc biết thứ tự câu. ✅ Self-attention chỉ so khớp nội dung vector — thứ tự phải được bơm vào tường minh qua positional encoding, cộng một lần trước block đầu tiên.

❌ Nhầm 2: nghĩ FFN cũng trộn thông tin giữa các token, giống self-attention. ✅ FFN xử lý từng token hoàn toàn độc lập; self-attention mới là sub-layer duy nhất cho token này "nhìn thấy" token kia.

❌ Nhầm 3: nghĩ residual connection chỉ là mẹo tăng tốc train, có thể bỏ qua nếu model nhỏ. ✅ Với model xếp chồng nhiều block, residual gần như bắt buộc — thiếu nó, gradient khó lan truyền ổn định qua nhiều tầng phi tuyến liên tiếp.

9. Đào sâu — nguồn gốc kiến trúc

10. Liên hệ các bài khác

• Bài 02 — Attention: truy vấn có trọng số: self-attention (query/key/value) dùng lại nguyên vẹn trong sub-layer đầu của block bài này.
• Bài 03 — Multi-head: nhiều góc nhìn song song: self-attention ở mục 4 thực chất chạy song song nhiều head — bài này gộp thành một khối duy nhất.
• Bài 05 — Từ transformer đến LLM: bài kế tiếp lấy đúng cấu trúc block này, thêm causal mask để giải thích vì sao decoder-only LLM sinh từng token một.
• Module 2, bài 02 — Xếp lớp và phi tuyến: nguyên lý composition giải thích vì sao xếp chồng N block (mục 7) mạnh hơn một block đơn.

11. Tóm tắt

• Self-attention chỉ so khớp nội dung vector, không tự biết thứ tự token trong câu.
• Positional encoding cộng một vector vị trí vào embedding, đúng một lần, trước block đầu tiên — không cộng lại ở các block sau.
• Một block gồm ba mảnh: self-attention (trộn thông tin giữa token), FFN (xử lý từng token riêng), residual bao quanh cả hai.
• Residual giữ input gốc không bị "quên" và giúp gradient lan truyền qua nhiều block xếp chồng; layer norm đi kèm ngay sau mỗi residual.
• Xếp chồng N block: lớp dưới gom quan hệ token gần nhau, lớp trên ghép các cụm đó thành quan hệ xa và trừu tượng hơn.
• Bài này chưa nói causal mask hay cách decoder-only LLM sinh từng token — nội dung bài 05.

12. Tự kiểm tra

Bài tiếp theo: Từ transformer đến LLM