Não nhân tạo vừa đủ

Tổng quan: Não nhân tạo vừa đủ

Bản đồ module: từ một neuron tính tổng có trọng số tới vòng lặp huấn luyện và representation — vừa đủ để bước vào transformer, không backprop.

Neuron nhân tạo — trọng số mới là thứ model học được

Một neuron chỉ làm hai việc: tính tổng có trọng số rồi cho qua hàm kích hoạt. Thứ duy nhất huấn luyện thay đổi là bộ trọng số đó, không phải mã nguồn.

Xếp lớp và hàm phi tuyến — vì sao một lớp không đủ

Chồng nhiều lớp tuyến tính vẫn thu gọn được về đúng một lớp, không mạnh hơn. Hàm phi tuyến giữa các lớp mới là thứ mở ra ranh giới cong.

Loss — quy cái sai của model về một con số duy nhất

Loss biến toàn bộ sai lệch giữa dự đoán và nhãn thành một con số để tối ưu. Chọn loss nào là quyết định thiết kế vì nó định nghĩa thế nào là sai.

Gradient descent — vòng lặp chỉnh trọng số cho bớt sai

Huấn luyện là vòng lặp forward, tính loss, lấy gradient rồi chỉnh trọng số ngược hướng dốc. Learning rate quyết định mỗi bước đi xa bao nhiêu.

Tham số và siêu tham số — 7 tỷ tham số nghĩa là gì

Tham số là số model tự chỉnh khi học; siêu tham số là số người chọn trước khi học. Từ số tham số ước lượng được bộ nhớ cần để nạp model lúc chạy.

Representation — tầng ẩn tự học ra đặc trưng dữ liệu

Tầng ẩn không giữ dữ liệu thô mà giữ cách biểu diễn hữu ích cho nhiệm vụ. Đây là gốc chung của embedding trong search và attention trong transformer.

Mini-challenge: chẩn đoán ba đường cong huấn luyện hỏng

Ba ca huấn luyện thất bại, mỗi ca một đường cong loss kèm cấu hình. Tự chẩn đoán nguyên nhân và đề xuất cách sửa trước khi đọc lời giải.

Tổng kết: Não nhân tạo vừa đủ

Cheat sheet neuron, phi tuyến, loss, vòng lặp gradient descent, tham số vs siêu tham số, representation — và self-assessment đối chiếu 6 outcomes.