Tổng quan: Tầng quyết định của engineer

TL;DR: Năm module trước dạy bạn hiểu cơ chế: model là gì, nó sinh văn bản ra sao, vì sao nó bịa, và embedding/RAG hoạt động thế nào. Module này đổi vai — từ người hiểu cơ chế sang người phải ra quyết định bằng chính cơ chế đó: viết prompt bền qua nhiều phiên bản model, biết khi nào fine-tune xứng đáng chi phí, hiểu agent là gì và cái giá của nó, đo chất lượng bằng golden set thay vì tin demo, ước lượng cost/latency từ token trước khi viết code, và chẩn đoán rủi ro privacy/prompt injection bằng khung OWASP. Bài cuối ghép cả sáu quyết định đó thành một checklist ship thật cho một scenario chatbot ngân hàng.

Vì sao module này tồn tại

Sếp giao một dòng brief: "Dựng chatbot nội bộ trả lời câu hỏi nhân viên về quy trình vận hành." Không có đặc tả kỹ thuật nào kèm theo — và năm module trước, dù cho bạn hiểu rất rõ token sinh ra thế nào hay embedding gần nhau nghĩa là gì, không tự động trả lời được năm câu hỏi bạn phải quyết ngay tuần này: Prompt viết sao để còn đúng khi nhà cung cấp âm thầm đổi model tháng sau? Có nên fine-tune, hay cứ prompt cho xong? Cần "agent" tự tra cứu nhiều bước, hay một lần gọi model là đủ? Làm sao biết tính năng tốt lên hay tệ đi sau mỗi lần sửa, thay vì chỉ tin vào một demo chạy mượt? Và hoá đơn cuối tháng, cũng như rủi ro rò rỉ dữ liệu, sẽ ra sao?

Đây đúng là khoảng cách giữa "hiểu cỗ máy" và "làm chủ được nó ở công việc thật". Module này thu hẹp khoảng cách đó bằng sáu quyết định cụ thể, mỗi quyết định bám thẳng vào một cơ chế đã học ở các module trước, không phải danh sách mẹo rời rạc.

Sau module này bạn sẽ

• Apply các nguyên tắc prompt có cấu trúc — vai trò rõ, ví dụ đúng dạng, tách bước suy luận — bám vào cơ chế model thay vì mẹo câu chữ
• Justify khi nào fine-tune xứng đáng chi phí: điều nó dạy được (format/style/domain), điều nó không nạp được (sự kiện mới), và cái giá catastrophic forgetting + staleness
• Explain agent như LLM + tool + vòng lặp quyết định, kèm chi phí và rủi ro lỗi cộng dồn
• Design bộ eval tối thiểu với golden set để thay "demo chạy được" bằng phép đo lặp lại được
• Predict cost và latency của một AI feature từ số token vào/ra
• Diagnose rủi ro privacy và prompt injection trong thiết kế AI feature bằng khung OWASP LLM Top 10
• Design checklist tối thiểu trước khi ship AI feature: kiến trúc, eval, cost, privacy, fallback

Lộ trình module

Bài 01 dựng nền: ba nguyên tắc prompt bám cơ chế model (attention, few-shot, tính autoregressive) mà mọi bài sau âm thầm dùng lại — kể cả bài agent (03) và bài privacy (06). Bài 02 trả lời câu hỏi tự nhiên tiếp theo: khi nào ba nguyên tắc đó không đủ, và fine-tune có đáng chi phí hay không — quyết định này cần đúng trực giác "hành vi hay sự kiện" mà mini-challenge chọn kiến trúc ở module 5 đã đặt nền trước. Bài 03 rẽ sang một trục khác: model đã biết nói gì (01, 02), giờ nó hành động ra sao — agent ghép LLM với tool và một vòng lặp, đổi lấy chi phí tăng theo cấp bậc và rủi ro lỗi cộng dồn. Tới hết bài 03, ba quyết định kiến trúc lớn nhất — prompt, fine-tune, agent — đã có đủ.

Ba bài tiếp theo trả lời một câu hỏi khác: làm sao biết một quyết định kiến trúc là đúng, trước khi ship? Bài 04 dựng bộ eval tối thiểu — golden set thay cho niềm tin vào demo. Bài 05 tính cost và latency từ số token, trước khi viết dòng code nào. Bài 06 chẩn đoán rủi ro privacy và prompt injection bằng khung OWASP LLM Top 10, và chỉ ra vì sao agent (03) cùng RAG (module 5) mở rộng bề mặt tấn công đó.

Bài 07 — mini-challenge capstone — không dạy khái niệm mới. Nó buộc bạn tự viết ra cả năm quyết định (kiến trúc, eval, cost, privacy, fallback) cho một scenario chatbot ngân hàng thật, dựa trực tiếp trên khung ba trục của mini-challenge chọn kiến trúc ở module 5. Bài 08 khép lại module này — và cả khoá AI Core — bằng một cheat sheet cùng self-assessment theo đúng bảy learning outcome ở trên.

Yêu cầu trước khi bắt đầu

• Module 1 — Bản đồ AI & học từ dữ liệu. Bài 02 dùng lại phân biệt dữ liệu/nhãn khi bàn data gán nhãn cho fine-tune; bài 05 dùng lại train-vs-inference khi tách hoá đơn cost/latency.
• Module 3 — Cỗ máy LLM. Bài 01 dùng lại context window và sampling khi lập luận vì sao ba nguyên tắc prompt bền qua nhiều phiên bản model; bài 03 dùng lại hallucination khi tính rủi ro lỗi cộng dồn của agent; bài 05 dùng lại tokenization khi ước lượng token tiếng Việt.
• Module 4 — Transformer & Attention. Bài 01 dùng lại cơ chế attention làm nền cho nguyên tắc cấu trúc rõ; bài 05 dùng lại scaling laws khi giải thích vì sao model lớn hơn đắt và chậm hơn mỗi token.
• Module 5 — Embedding, tìm kiếm & RAG. Bài 02 dùng lại bảng trade-off của mini-challenge chọn kiến trúc ở module đó; bài 07 (capstone) áp lại đúng khung ba trục của cùng mini-challenge; bài 04 dùng lại RAG failure modes; bài 06 dùng lại RAG pipeline khi chẩn đoán injection gián tiếp.
• Không bắt buộc tuyệt đối nếu bạn đã có kinh nghiệm thực chiến gọi LLM API — nhưng thiếu các module trên, các ô "Recall" rải trong bài sẽ cần mở link đọc thêm mới theo kịp mạch lập luận.
• Không cần biết code ML hay Python. Pseudocode trong bài đọc được bằng logic lập trình thông thường.

Time budget

Cách học module này hiệu quả

• Làm nghiêm túc mọi ô "Thử đoán" và <SpotTheBug> — đặc biệt bài 01 (prompt lỗi) và bài 04 (tự phác golden set) — trước khi đọc phần giải thích ngay sau đó.
• Đừng học bài 07 tách rời. Đây là capstone thật, cần cả bài 02, 04, 05, 06 làm nguyên liệu trực tiếp — không phải một bài học khái niệm mới.
• Gặp ô Recall trỏ ngược module 3 hoặc module 5 mà không nhớ rõ — mở link đọc lại ngay, đừng đoán và đọc tiếp.
• Bài 08 không chỉ tổng kết module này — nó khép lại cả sáu module của khoá AI Core. Dành đủ thời gian cho phần nhìn lại toàn khoá thay vì lướt qua như một recap thường.

Bài tiếp theo: Nguyên tắc prompt bám cơ chế