Multi-head attention — mỗi head một góc nhìn riêng

TL;DR: Một attention head chỉ học được một kiểu "khớp" giữa query và key — nghĩa là chỉ bắt được một loại quan hệ giữa các token. Transformer giải quyết giới hạn đó bằng cách chạy nhiều head song song: mỗi head có bộ trọng số chiếu Q/K/V riêng nên tự phân hoá để bắt một kiểu quan hệ khác nhau — ngữ pháp, đồng tham chiếu, vị trí lân cận. Không ai lập trình sẵn vai trò này; giống trọng số của một neuron, vai trò của mỗi head là thứ được học qua quá trình train. Kết quả các head được ghép (concat) rồi chiếu lại thành một representation giàu thông tin hơn một head đơn lẻ.

1. Analogy — ba chuyên gia cùng nghe một cuộc họp

Hình dung ba chuyên gia — luật sư, kế toán, quản lý dự án — cùng ngồi nghe một cuộc họp. Cả ba nghe đúng một nội dung, nhưng mỗi người tự động lọc theo tiêu chí chuyên môn riêng: luật sư chú ý rủi ro pháp lý, kế toán chú ý con số tài chính, quản lý dự án chú ý deadline. Không ai bảo họ phải nghe như vậy — đó là phản xạ nghề nghiệp đã hình thành qua kinh nghiệm. Cuối buổi, ba bản ghi chú được ghép lại thành một biên bản đầy đủ hơn bất kỳ ghi chú đơn lẻ nào.

2. Đoán trước — một câu, ba head giả định

Xét câu sau:

"Lan nuôi một con mèo; nó đã trốn khỏi nhà hôm qua."

Khi model xử lý token "nó", giả sử có 3 attention head chạy song song — gọi là Head A, Head B, Head C.

3. Vì sao một head chỉ bắt được một kiểu khớp?

Bài 02 đã giải thích cơ chế của một head: mỗi token tính ra một query, đem so khớp với key của mọi token khác, rồi lấy trung bình có trọng số các value theo mức khớp đó. Recap đúng một câu vì bài này không dạy lại: "khớp" theo tiêu chí gì phụ thuộc vào ma trận chiếu Wq và Wk của CHÍNH head đó — đổi ma trận chiếu là đổi luôn tiêu chí, token nào khớp mạnh với token nào cũng đổi theo.

Quay lại ví dụ ở mục 2. Với bộ ba head giả định, cách phân vai hợp lý nhất là:

• Head A (đồng tham chiếu): khớp "nó" với "con mèo" mạnh nhất — học kiểu quan hệ đại từ trỏ về danh từ nào.
• Head B (ngữ pháp — chủ vị): khớp theo liên kết "Lan"-"nuôi", bất kể khoảng cách trong câu — học kiểu quan hệ chủ ngữ-động từ.
• Head C (vị trí lân cận): khớp mạnh với 1-2 token liền kề — học kiểu quan hệ định vị cục bộ, không quan tâm ý nghĩa.

Nếu dự đoán của bạn ở mục 2 gần với ba vai trò trên, đó không phải vì có luật gán trước. Ba kiểu quan hệ này — đồng tham chiếu, cú pháp, vị trí — đơn giản là những pattern rất hữu ích để dự đoán từ tiếp theo trong văn bản tự nhiên. Khi train trên khối lượng lớn văn bản, các head có xu hướng tự phân hoá về hướng khai thác những pattern đó để giảm loss — không ai viết code "Head A hãy học đồng tham chiếu".

4. Cơ chế bên dưới — chiếu riêng, chạy song song, ghép lại

Với H head chạy song song, mỗi head h có bộ trọng số chiếu riêng Wq_h, Wk_h, Wv_h — những ma trận này KHÔNG chia sẻ giữa các head. Cùng một token embedding đầu vào, mỗi head chiếu nó vào một không gian riêng, tính attention độc lập, rồi tất cả kết quả được ghép lại:

function multiHeadAttention(x, H):
    heads <- []
    for h in 1..H:
        Wq_h, Wk_h, Wv_h <- trong so rieng cua head h    -- khong chia se giua cac head
        Q_h <- x * Wq_h
        K_h <- x * Wk_h
        V_h <- x * Wv_h
        heads[h] <- attention(Q_h, K_h, V_h)              -- mot head don, xem Bai 02
    concatenated <- concat(heads[1], ..., heads[H])
    output <- concatenated * Wo                            -- chieu lai ve mot khong gian chung
    return output
// H head chay DOC LAP va SONG SONG - khong head nao cho head khac xong truoc

Số lượng head H là một hyperparameter — do người thiết kế kiến trúc chọn trước khi train, cố định trong suốt quá trình train. Đây là điểm khác biệt quan trọng với Wq_h/Wk_h/Wv_h: những ma trận đó MỚI là thứ được học và thay đổi liên tục qua từng bước train, giống hệt cách w và b của một neuron thay đổi còn kiến trúc mạng thì cố định (Bài 01, Module 2).

5. Không ai gán vai trò — head tự phân hoá khi train

Đây là điểm nhiều người mới học AI hiểu nhầm: tưởng rằng ai đó thiết kế "head 3 để học ngữ pháp, head 5 để học đồng tham chiếu". Thực tế ngược lại. Giống hệt cách một neuron học w và b — không ai gán tay giá trị trọng số, quá trình train tự tìm ra chúng để giảm loss — bộ trọng số Wq_h/Wk_h/Wv_h của MỖI head cũng chỉ là những con số được cập nhật qua gradient descent.

Không có cơ chế nào ép head thứ ba phải học ngữ pháp. Nhưng vì các kiểu quan hệ như cú pháp, đồng tham chiếu, vị trí là những tín hiệu rất hữu ích để dự đoán từ tiếp theo, quá trình train có xu hướng tự đẩy các head phân hoá theo hướng khai thác những tín hiệu đó — mỗi head "chuyên môn hoá" vào một góc nhìn khác nhau để cả nhóm cùng giảm loss hiệu quả hơn là H head giống hệt nhau.

Đây cũng là lý do không nên coi vai trò của một head là cố định tuyệt đối: model khác nhau, dữ liệu train khác nhau, thậm chí hai lần train cùng kiến trúc (do khởi tạo trọng số ngẫu nhiên khác nhau) có thể cho ra cách phân vai khác nhau giữa các head. Nhưng KIỂU quan hệ hữu ích — ngữ pháp, đồng tham chiếu, vị trí — vẫn có xu hướng lặp lại, vì đó là tín hiệu tốt cho cùng một bài toán dự đoán từ tiếp theo.

6. Pitfall thường gặp

❌ Nhầm 1 — tưởng multi-head là chạy lại cùng một phép tính nhiều lần "cho chắc":

✅ Multi-head KHÔNG phải chạy lại cùng một phép tính. Mỗi head có bộ trọng số chiếu RIÊNG (Wq_h/Wk_h/Wv_h khác nhau), nên tính ra kết quả khác nhau theo thiết kế. Mục tiêu là đa dạng góc nhìn, không phải lặp lại để giảm nhiễu như ensemble voting.

❌ Nhầm 2 — tưởng tăng số head càng nhiều thì model càng "hiểu" nhiều quan hệ hơn, luôn luôn tốt hơn:

✅ Tăng số head H trong khi giữ nguyên d_model nghĩa là mỗi head có ít chiều hơn (d_k = d_model / H). Đây là đánh đổi giữa SỐ LƯỢNG góc nhìn và ĐỘ CHI TIẾT của mỗi góc nhìn, không phải cứ tăng H là luôn tốt hơn.

❌ Nhầm 3 — nghĩ phải biết rõ head nào học quan hệ gì mới dùng được model:

✅ Phần lớn ứng dụng thực tế không cần biết head cụ thể học quan hệ gì — thông tin đó chỉ quan trọng khi làm nghiên cứu diễn giải (interpretability). Điều cần nắm ở tầng ứng dụng là: multi-head giúp representation giàu hơn một head đơn, đó là đủ để hiểu vì sao kiến trúc này hiệu quả.

7. Đào sâu — nguồn gốc ý tưởng

8. Liên hệ các bài khác

• Bài 02 — Attention, phép truy vấn có trọng số — bài này định nghĩa Q/K/V trong MỘT head; bài hiện tại chỉ mở rộng sang NHIỀU head chạy song song, không dạy lại cơ chế Q/K/V.
• Neuron nhân tạo — trọng số mới là thứ model học được — nguyên lý "trọng số là thứ được học, kiến trúc cố định" áp dụng y hệt cho bộ trọng số chiếu của mỗi head.
• Bài 04 — Transformer block: ghép các mảnh — multi-head attention chỉ là MỘT bước trong transformer block; bài sau ghép nó với positional encoding, FFN, residual thành một lớp hoàn chỉnh.

9. Tóm tắt

• Một attention head chỉ học được một kiểu "khớp" query-key — tức một kiểu quan hệ giữa token, không phải mọi kiểu cùng lúc.
• Nhiều head chạy song song, mỗi head có bộ trọng số chiếu Q/K/V riêng nên có thể tự phân hoá theo góc nhìn khác nhau: ngữ pháp, đồng tham chiếu, vị trí.
• Không ai gán vai trò cho head trước khi train — vai trò đó tự hình thành qua gradient descent, y hệt cách trọng số của một neuron được học chứ không lập trình tay.
• Kết quả các head được ghép (concat) rồi chiếu một lần nữa qua Wo thành representation cuối cùng, giàu thông tin hơn bất kỳ head đơn lẻ nào.
• Số lượng head H là một hyperparameter cố định trước khi train (kiến trúc gốc dùng H = 8), khác với Wq_h/Wk_h/Wv_h — đó mới là thứ được học.
• Multi-head KHÔNG phải chạy lại cùng phép tính nhiều lần để "cho chắc" — mục tiêu là đa dạng góc nhìn, không phải giảm nhiễu bằng lặp lại.

10. Tự kiểm tra

Bài tiếp theo: Transformer block — ghép các mảnh