Tầng quyết định của engineer

Tổng quan: Tầng quyết định của engineer

Module cuối khoá: từ hiểu cơ chế sang ra quyết định — prompt, fine-tune, agent, eval, cost/latency, privacy — và checklist ship AI feature thật.

Nguyên tắc prompt bám cơ chế: cấu trúc, ví dụ, tách suy luận

Không sưu tầm mẹo câu chữ. Ba nguyên tắc bền vì bám cơ chế model: cấu trúc rõ để attention bám vào, ví dụ đúng dạng, tách bước suy luận.

Fine-tune model — khi nào xứng đáng, khi nào không

Fine-tune dạy được hành vi — format, giọng điệu, domain — nhưng không nạp nổi sự kiện mới đáng tin. Cái giá: data nhãn, catastrophic forgetting, vòng đời vận hành.

Agent trong AI: LLM + tool trong vòng lặp quyết định

Agent không phải phép màu: LLM + tool + vòng lặp quyết định. Mỗi vòng thêm chi phí và nhân xác suất lỗi — nên nhiều bài toán chỉ cần một lần gọi model là đủ.

Eval & golden set — đo AI feature thay vì tin demo

Demo chạy được không phải bằng chứng. Golden set vài chục case + cách chấm lặp lại được là eval tối thiểu để biết AI feature tốt lên hay tệ đi.

Cost và latency AI feature: tính từ token trước khi code

Chi phí và độ trễ AI feature tính được từ số token vào/ra trước khi viết code — bốn đòn bẩy tham chiếu: cache, model nhỏ, cắt context, streaming.

Privacy và prompt injection khi thiết kế AI feature

Prompt là dữ liệu gửi đi, không phải suy nghĩ riêng tư. Diagnose rủi ro rò rỉ dữ liệu và prompt injection bằng khung OWASP LLM Top 10, bắt đầu từ LLM01: Prompt Injection.

Mini-challenge: dựng checklist ship AI feature hoàn chỉnh

Capstone ai-core: chatbot nội bộ ngân hàng trên dev/UAT — tự chọn kiến trúc, dựng checklist ship đủ eval, cost, privacy, fallback trước khi xem lời giải.

Tổng kết: Tầng quyết định — và cả khoá AI Core

Khép module cuối và cả khoá: từ bản đồ AI đến cỗ máy LLM, transformer, RAG và tầng quyết định của engineer — kèm self-assessment theo learning outcomes.