Não nhân tạo vừa đủ

Tổng quan: Não nhân tạo vừa đủ

Bản đồ module: từ một neuron tính tổng có trọng số tới vòng lặp huấn luyện và representation, vừa đủ để bước vào transformer mà không cần backprop.

Neuron nhân tạo: trọng số mới là thứ model học được

Một neuron chỉ làm hai việc: tính tổng có trọng số rồi cho qua hàm kích hoạt. Thứ duy nhất huấn luyện thay đổi là bộ trọng số đó, không phải mã nguồn.

Xếp lớp và hàm phi tuyến: vì sao một lớp không đủ

Chồng nhiều lớp tuyến tính vẫn thu gọn được về đúng một lớp, không mạnh thêm. Hàm phi tuyến giữa các lớp mới là thứ mở ra ranh giới cong.

Loss: gom cái sai của model về một con số duy nhất

Loss biến toàn bộ sai lệch giữa dự đoán và nhãn thành một con số để tối ưu. Chọn loss nào là quyết định thiết kế, vì nó định nghĩa thế nào là sai.

Gradient descent: vòng lặp chỉnh trọng số cho bớt sai

Huấn luyện là vòng lặp forward, tính loss, lấy gradient rồi chỉnh trọng số ngược hướng dốc. Learning rate quyết định mỗi bước đi xa bao nhiêu.

Tham số và siêu tham số: 7 tỷ tham số nghĩa là gì

Tham số là những con số model tự chỉnh khi học; siêu tham số là thứ người chọn trước khi học. Từ số tham số ước lượng được bộ nhớ cần để nạp model.

Representation: lớp ẩn tự học ra đặc trưng của dữ liệu

Lớp ẩn không giữ dữ liệu thô mà giữ một cách mô tả có ích cho nhiệm vụ. Đó là gốc chung của embedding trong search và attention trong transformer.

Mini-challenge: chẩn đoán ba đường cong huấn luyện hỏng

Ba ca huấn luyện thất bại, mỗi ca một đường cong loss kèm cấu hình. Tự chẩn đoán nguyên nhân và đề xuất cách sửa trước khi đọc lời giải.

Tổng kết Não nhân tạo vừa đủ: cheat sheet và tự đánh giá

Cheat sheet neuron, phi tuyến, loss, gradient descent, tham số và siêu tham số, representation, ba ca đường cong loss hỏng, kèm self-assessment theo 6 outcome.