Cỗ máy LLM

Tổng quan: Cỗ máy LLM

Bản đồ module + nền tối thiểu cho người vào thẳng đây: model là hàm học từ dữ liệu, train khác inference, output là phân phối xác suất. Rồi sáu mảnh ghép của cỗ máy sinh văn bản.

Dự đoán token kế tiếp — vòng lặp sinh văn bản

LLM không tra cứu, không suy luận theo luật: nó dự đoán mảnh văn bản kế tiếp, lặp đi lặp lại. Mọi hành vi khác đều là hệ quả của vòng lặp này.

Tokenization — vì sao model không thấy ký tự

Model thấy token, không thấy chữ cái. Đó là gốc của lỗi đếm chữ, và lý do hoá đơn API tiếng Việt cao hơn tiếng Anh cho cùng nội dung.

Context window — bộ nhớ làm việc hữu hạn

Model chỉ nhìn được số token giới hạn mỗi request. Hết chỗ thì phần cũ bị cắt — đây là lý do thật của việc model 'quên', không phải trí nhớ kém.

Sampling — temperature và top-p

Temperature không phải nút chỉnh độ thông minh. Nó điều chỉnh cách chọn token từ phân phối xác suất — và đoán được output đổi thế nào khi vặn nó.

Từ base model đến chat model

Base model chỉ biết viết tiếp văn bản. SFT dạy nó dạng hỏi-đáp, RLHF chỉnh theo lựa chọn con người — vì thế model chat cư xử khác hẳn cỗ máy thô bên dưới.

Hallucination — vì sao model bịa

Model không nói dối — nó chọn token khả dĩ nhất, không có khái niệm đúng/sai. Hallucination là hệ quả tất yếu của cơ chế, nên đoán trước được khi nào nó dễ xảy ra.

Mini-challenge: đọc log ba sự cố LLM

Ba transcript thật từ môi trường dev: bot đếm chữ sai, bot quên yêu cầu đầu hội thoại, bot trả lời loạn. Tự chẩn đoán cơ chế đứng sau từng sự cố trước khi xem lời giải.

Tổng kết: Cỗ máy LLM

Ghép sáu mảnh thành một bức tranh: pipeline sinh văn bản end-to-end và self-assessment theo learning outcomes.