Embedding — không gian của nghĩa

TL;DR: Embedding biến một đoạn văn bản thành vector — dãy số thực độ dài cố định — trong "không gian nghĩa", nơi hai đoạn gần nghĩa nằm gần nhau dù không chung chữ nào. Ánh xạ một chiều: không có hàm decode dựng lại văn bản gốc. Không gian đó được học từ mục tiêu huấn luyện, nên "gần" là gần theo định nghĩa của dữ liệu đã dạy model, không phải theo nhu cầu của bạn. Hệ quả: không có model tốt nhất cho mọi task, và vector dài hơn không đồng nghĩa kết quả tốt hơn.

Vẫn nhóm làm chatbot tra cứu policy nội bộ ở module Cỗ máy LLM. Giờ họ vấp bài toán tìm tài liệu: nhân viên gõ "cách xin nghỉ phép năm", văn bản công ty viết "thủ tục đăng ký ngày nghỉ hằng năm" — không trùng từ khoá nào, ô tìm kiếm trả về rỗng. Ai đó đề xuất dùng embedding, và câu hỏi đầu tiên trong phòng họp là: "model nào tốt nhất?"

Cả nhóm chọn theo bản năng: model nhiều chiều nhất — 3072 thay vì 1536. Hai tuần sau, dung lượng vector store và thời gian truy vấn tăng đúng tỉ lệ số chiều, chất lượng nhích không đáng kể — trong khi tài liệu của chính hãng ghi rõ model đó cắt xuống 256 chiều vẫn vượt model đời trước ở 1536 chiều.

1. Analogy — địa chỉ nhà và toạ độ GPS

Cùng một quán cà phê, hai người mô tả hai kiểu: "số 5 ngõ 12 Trần Duy Hưng" và "quán sau lưng siêu thị trên Trần Duy Hưng". So khớp chuỗi thì hai câu gần như không liên quan. Đổi sang toạ độ GPS, chúng rơi vào hai điểm cách nhau vài chục mét — và bạn hỏi được câu mà chuỗi địa chỉ không trả lời nổi: "còn quán nào gần đây không?"

Analogy hỏng ở hai chỗ: bản đồ có 2 chiều còn không gian nghĩa có hàng trăm tới hàng nghìn chiều; và toạ độ GPS tra ngược ra địa chỉ được, còn vector thì không có hàm decode nào dựng lại văn bản gốc.

2. Embedding trả về cái gì?

Embedding (vector nhúng) là hàm nhận văn bản, trả về vector: dãy số thực độ dài cố định, ví dụ 1536 số. Embedding model là model huấn luyện riêng cho việc đó — khác model sinh văn bản ở module trước, nó không sinh chữ nào.

embed("Cách xin nghỉ phép năm")            -> [ 0.021, -0.144, ...,  0.087]
embed("Thủ tục đăng ký ngày nghỉ hằng năm") -> [ 0.019, -0.151, ...,  0.081]   -- gần vector trên
embed("Cách cài Docker trên máy Mac")       -> [-0.233,  0.402, ..., -0.010]   -- xa cả hai

-- Độ dài vector CỐ ĐỊNH với mọi input:
--   một câu 6 chữ -> 1536 số
--   một trang A4  -> 1536 số   <-- vẫn đúng ngần ấy số

Ba tính chất phải nhớ, vì mọi bài sau đều dựa vào chúng:

• Độ dài cố định. Một câu hay cả trang đều ra ngần ấy số — điều kiện để so sánh mọi thứ với mọi thứ, nhưng cũng là lý do nhồi cả trang vào một vector làm nghĩa bị "trung bình hoá" (bài Chunking).
• Một chiều và lossy. Nén một trang thành 1536 số thì thông tin phải mất, và model không kèm hàm decode — embedding không phải mã hoá.
• Chỉ có nghĩa trong cùng một không gian. Vector của model A không so sánh được với vector của model B, kể cả khi cùng 1536 chiều — nên đổi embedding model bắt buộc index lại toàn bộ, tốn kém chứ không phải một dòng đổi config.

Từng con số trong vector không đọc được — không chiều nào là "độ trang trọng" hay "chủ đề nhân sự". Thứ mang ý nghĩa là vị trí tương đối giữa các vector, đo bằng gì là việc của bài 02.

3. Không gian nghĩa từ đâu ra — và "gần" là gần theo ai?

Không ai gán toạ độ bằng tay. Không gian đó được học theo một nguyên tắc cũ: đơn vị ngôn ngữ xuất hiện trong ngữ cảnh giống nhau thì nghĩa giống nhau. Word2vec (Mikolov et al., 2013) làm điều đó ở mức từ; model embedding câu áp cùng ý tưởng ở mức đoạn, với mục tiêu kéo gần cặp liên quan, đẩy xa cặp không liên quan:

for each (query, positive, negative) trong dữ liệu huấn luyện:
    kéo gần  embed(query) và embed(positive)   -- positive: đoạn ĐÚNG cho query
    đẩy xa   embed(query) và embed(negative)   -- negative: đoạn không liên quan
-- Lặp lại trên quy mô rất lớn
-- => hình dạng không gian là KẾT QUẢ của việc "cặp nào được coi là đúng"

Đây là mấu chốt của cả bài. Câu "embedding hiểu nghĩa" chính xác hơn phải viết là: model học được một khái niệm "liên quan" cụ thể, do dữ liệu huấn luyện định nghĩa — dạy chủ yếu bằng cặp hỏi–đáp tiếng Anh trên web thì "gần" của nó là gần theo kiểu đó. Hai hệ quả: hai câu không chung chữ nào vẫn có thể rất gần ("xin nghỉ phép năm" và "đăng ký ngày nghỉ"), thứ tìm kiếm từ khoá bó tay; nhưng hai đoạn xếp gần nhau không đảm bảo trả lời được câu hỏi của bạn — gốc của mọi ca hỏng ở bài 03 và bài 06.

Vậy sao không bỏ vector đi, đưa thẳng từng cặp (câu hỏi, đoạn tài liệu) cho model chấm? Vì chi phí: tìm cặp câu giống nhau nhất trong 10.000 câu cần chừng 65 giờ nếu mỗi cặp chạy qua BERT, nén sẵn thành vector rồi so sánh thì còn khoảng 5 giây (Reimers & Gurevych, EMNLP 2019). Embedding tách phần đắt — hiểu nghĩa, chạy một lần lúc index — khỏi phần lặp mỗi truy vấn, nên câu hỏi phải đi qua đúng model dùng lúc index.

4. Hai câu hỏi đặt sai: "bao nhiêu chiều" và "model nào tốt nhất"

4.1 Số chiều là nút chi phí, không phải nút chất lượng

Số công bố trong tài liệu OpenAI (đọc 2026-07-23), cột điểm là trung bình MTEB:

Con số tài liệu công bố: 256 chiều — 3-large rút xuống 256 vẫn vượt ada-002 nguyên 1536 chiều, ít hơn 6 lần số chiều mà điểm vẫn cao hơn. Đọc bảng theo thứ tự:

1. 3-small và ada-002 cùng 1536 chiều mà chênh 1.3 điểm — cùng kích thước, khác chất lượng.
2. Ca cắt còn 256 chiều là bằng chứng sạch nhất vì so một model với chính nó: bỏ 11/12 số trong vector mà vẫn thắng model đời cũ.

Thứ số chiều quyết định chắc chắn là chi phí: dung lượng lưu trữ và khối lượng tính mỗi truy vấn đều tỉ lệ thuận với số chiều — đúng hoá đơn nhóm ở đầu bài đã trả. OpenAI còn cho tham số dimensions cắt bớt chiều mà không cần huấn luyện lại: nhà cung cấp coi số chiều là nút đánh đổi chi phí, không phải nút chỉnh chất lượng.

4.2 Không có model tốt nhất cho mọi task

Câu "model nào tốt nhất" thì đã có trả lời từ nghiên cứu. MTEB (Massive Text Embedding Benchmark) đo các model trên 8 loại task, 58 dataset, 112 ngôn ngữ, kết luận nguyên văn: "We find that no particular text embedding method dominates across all tasks." (Muennighoff et al., 2022). Không phải "chưa tìm ra" mà là không có — mục 3 đã nói vì sao: model dạy bằng cặp câu đối xứng ("hai câu này cùng nghĩa không?") mạnh ở đo tương đồng câu, model dạy bằng cặp lệch (câu hỏi ngắn với đoạn văn dài) mạnh ở truy hồi. Hai mục tiêu huấn luyện khác nhau sinh ra hai không gian khác nhau, nên thứ hạng đảo giữa các task là bình thường.

5. Pitfall tổng hợp

❌ Nhầm 1 — coi embedding là mã hoá, và coi vector là dữ liệu vô hại:

✅ Hai vế sai theo hai hướng ngược nhau. Không có hàm decode chính chủ, nên đừng lưu vector rồi tưởng vẫn giữ được nguyên văn. Nhưng cũng đừng coi vector là ẩn danh: OWASP xếp riêng LLM08:2025 Vector and Embedding Weaknesses vì embedding có thể bị đảo ngược để khôi phục một lượng đáng kể thông tin gốc.

❌ Nhầm 2 — trộn vector cũ và mới sau khi đổi model:

✅ Một index chứa vector của hai model là index hỏng — truy vấn vẫn chạy, vẫn trả kết quả, chỉ là vô nghĩa với phần dữ liệu sai không gian. Đổi model thì index lại toàn bộ rồi mới chuyển sang dùng.

6. 📚 Deep Dive

7. Liên hệ các bài khác

• Bài 02 — Cosine similarity — bài này nói vector ở gần nhau; bài sau định nghĩa "gần" bằng phép đo cụ thể, và vì sao điểm số dễ bị đọc sai.
• Bài 03 — Semantic vs keyword search — hệ quả của "gần theo thước của model": có loại truy vấn mà thước đó thua hẳn từ khoá.
• Bài 04 — Chunking — sinh ra từ tính chất độ dài vector cố định: cắt tài liệu thành đoạn bao lớn thì một vector còn giữ được nghĩa.
• Tokenization — bước ngay trước embedding; giới hạn đầu vào của embedding model cũng đo bằng token.

8. Tóm tắt

• Embedding ánh xạ văn bản thành vector độ dài cố định; gần nghĩa thì gần nhau, kể cả khi không chung từ nào.
• Ánh xạ một chiều và lossy — không có hàm decode, nhưng vector vẫn bị đảo ngược một phần được (LLM08:2025).
• Không gian nghĩa là kết quả của mục tiêu huấn luyện, nên "liên quan" mang định nghĩa của dữ liệu huấn luyện, không của bài toán bạn đang giải.
• Số chiều là nút chi phí, không phải nút chất lượng: 3-large ở 256 chiều vẫn vượt ada-002 ở 1536 chiều.
• Không có model tốt nhất cho mọi task — chọn theo task, ngôn ngữ và phép đo trên dữ liệu thật; đổi model là index lại toàn bộ.

9. Tự kiểm tra

Bài tiếp theo: Cosine similarity — đo "gần nghĩa" bằng gì