Transformer & attention

Tổng quan: Transformer & attention

Bản đồ module: từ giới hạn của model đọc tuần tự, qua attention và transformer block, đến decoder-only LLM và scaling laws — đủ để đọc sơ đồ kiến trúc.

Giới hạn của model đọc tuần tự trước khi có transformer

Trước transformer, model đọc văn bản từng token một: phụ thuộc xa bị quên dần, train không song song hoá được. Đó là hai giới hạn attention sẽ gỡ.

Query/Key/Value: attention là phép tra cứu mềm có trọng số

Attention để mỗi token tự hỏi các token khác qua query, key, value — lấy thông tin liên quan nhất, không cần đi qua nút cổ chai hidden state tuần tự.

Multi-head attention — mỗi head một góc nhìn riêng

Một attention head chỉ bắt được một kiểu quan hệ. Chạy nhiều head song song, mỗi head học một góc nhìn — ngữ pháp, đồng tham chiếu, vị trí — rồi ghép lại.

Transformer block: ghép attention, FFN, residual thành khối

Attention tự nó không biết thứ tự — cần positional encoding. Ghép encoding, self-attention, FFN và residual thành một block, xếp chồng N lớp thành model.

Từ transformer đến LLM: causal mask và train song song

Causal mask ép token chỉ nhìn quá khứ để train song song mọi vị trí, còn inference vẫn sinh tuần tự từng token, chậm dần theo số token sinh ra.

Scaling laws — dự đoán loss khi tăng params, data, compute

Thêm params, data, compute thì loss giảm theo quy luật trơn — và Chinchilla chỉ ra model to mà train thiếu token là phí compute. Đọc định tính, không công thức.

Mini-challenge: đọc sơ đồ kiến trúc LLM

Cầm sơ đồ kiến trúc và model card của một LLM 7B giả định: chỉ ra khối transformer, giải nghĩa layers/heads/params/context bằng chính vốn từ vừa học.

Tổng kết: Transformer & attention

Ghép lại bức tranh: từ giới hạn của model đọc tuần tự đến attention, transformer block, decoder-only LLM và scaling laws — kèm self-assessment theo learning outcomes.