"Tiny LLM" - Bên trong "bộ não" của một LLM, thực ra chỉ là... Toán

 

Bên trong "bộ não" của một LLM, thực ra chỉ là... Toán.

Có một câu hỏi mà hầu như ai học Toán cũng từng tự vấn ít nhất một lần, thường là lúc đang vật lộn với một bài chứng minh định thức hay một bài tích phân lúc nửa đêm: học cái này để làm gì?

Câu trả lời "để rèn tư duy logic" không sai, nhưng nó mơ hồ đến mức gần như vô dụng. Nó không trả lời được câu hỏi cụ thể hơn: những con số, những ký hiệu này, nếu không phải chỉ để thi, thì chúng thực sự dùng để LÀM gì?

Một cuốn giáo trình trả lời câu hỏi đó theo một cách rất khác với phần còn lại. Thay vì nói "Toán học quan trọng với AI" một cách chung chung rồi lướt qua, cuốn sách này làm một việc: dựng một mô hình ngôn ngữ thật, chạy được, rồi chỉ ra chính xác từng định lý, từng công thức đã làm được việc gì — ở đúng dòng mã nào — bên trong hệ thống đó.

Không có khoảng trống nào giữa "học công thức" và "công thức đó đi vào đâu". Đó chính là điều mà cuốn sách này thể hiện 

LLM, lột hết lớp vỏ marketing, chỉ còn lại ba thứ quen thuộc

Khi người ta nói về ChatGPT, Claude, hay bất kỳ mô hình ngôn ngữ lớn nào, truyền thông hay vẽ lên hình ảnh một thứ "trí tuệ" bí ẩn, gần như ma thuật. Nhưng nếu bóc hết lớp vỏ đó ra, bên trong một LLM chỉ là một chuỗi các phép toán rất quen thuộc với bất kỳ ai từng học đại cương:

Văn bản được biến thành vector — đó là đại số tuyến tính. Mô hình đưa ra một phán đoán dưới dạng phân phối xác suất — đó là xác suất thống kê. Mô hình học từ sai số bằng cách lần ngược một chuỗi đạo hàm — đó là giải tích.

Ba thứ tưởng như chỉ tồn tại trong phòng thi, hoá ra chính là toàn bộ "bộ não toán học" đứng sau mọi mô hình ngôn ngữ — từ một mạng vài trăm nghìn tham số chạy được trên laptop cá nhân, đến một hệ thống hàng nghìn tỷ tham số huấn luyện trên hàng chục nghìn GPU. Khác biệt giữa hai thái cực đó không nằm ở loại toán học được dùng. Nó nằm ở quy mô, và ở một vài lớp kỹ thuật bổ sung.

Điều khiến cuốn sách này đáng nói không phải là nó dạy ba thứ đó — sách giáo khoa nào cũng dạy. Điều đáng nói là cách nó buộc người đọc phải nhìn thấy công thức biến thành hành vi thực tế của một hệ thống đang chạy. Không có công thức nào được dạy mà không được theo dấu đến tận nơi nó sinh ra kết quả.

Ba chương sau: nơi lý thuyết chạm vào những gì đang chạy thật ngoài kia

Cuốn sách không dừng lại ở các khái niệm "kinh điển". Sau năm chương nền tảng (đại số tuyến tính, xác suất thống kê, giải tích, cách biến chữ thành số bằng BPE, và thuật toán tối ưu AdamW), nó đi tiếp vào ba kỹ thuật đang thực sự định hình các LLM hiện nay:

RoPE — cách mã hoá vị trí của một từ trong câu không phải bằng cách cộng thêm một con số, mà bằng một phép quay trong không gian vector. Sách chứng minh bằng đại số — không chỉ mô tả — rằng tích vô hướng giữa hai vector sau khi quay chỉ phụ thuộc vào khoảng cách tương đối giữa chúng, chứ không phải vị trí tuyệt đối. Một kết quả đẹp, và quan trọng hơn, một kết quả có thể kiểm chứng bằng tay với vài phép tính lượng giác.

Grouped-Query Attention — kỹ thuật giúp các mô hình lớn trả lời nhanh hơn bằng cách chia sẻ bớt dữ liệu giữa các "đầu" chú ý. Sách không chỉ nói "nó giúp tiết kiệm bộ nhớ" một cách mơ hồ, mà dùng hẳn mô hình roofline — công cụ phân tích hiệu năng phần cứng chuẩn mực — để chứng minh chính xác tại sao việc sinh từng từ một lại luôn bị giới hạn bởi băng thông bộ nhớ, không phải bởi tốc độ tính toán. Đọc xong đoạn đó, mình thực sự hiểu vì sao các mô hình thương mại đều áp dụng kỹ thuật này — không phải vì "nghe nói nó tốt", mà vì con số chứng minh nó tốt.

Mixture-of-Experts — ý tưởng để một mô hình có hàng tỷ tham số "kiến thức" nhưng mỗi lần trả lời chỉ cần dùng một phần nhỏ trong số đó, như việc một bệnh viện lớn có hàng trăm bác sĩ chuyên khoa nhưng bệnh nhân chỉ cần gặp đúng hai người phù hợp. Sách còn chỉ ra một chi tiết rất thật mà ít tài liệu nào dám nói: cơ chế "chọn chuyên gia" này về bản chất toán học là không khả vi — tức không thể huấn luyện bằng đạo hàm thông thường — và giải thích chính xác bằng cách nào người ta lách qua được giới hạn đó.

Sự trung thực

Cuốn sách đã xây dựng một mô hình ngôn ngữ nhỏ thật sự, gọi là TTMQ (Tiny Transition Matrix Quant - Mô hình biểu diễn ma trận chuyển đổi gọn nhẹ, tập trung vào tính toán cốt lõi) - từ con số 0, rồi trình bày nó theo hai phiên bản: một bản nguyên thuỷ tối giản chỉ dùng năm chương lý thuyết đầu, và một bản nâng cấp tích hợp cả RoPE, GQA, MoE. Và đặt hai bản cạnh nhau, so sánh thẳng thắn: bản nào dễ tính tay hơn cho người mới học, bản nào gần với kiến trúc thực tế hơn, và - quan trọng nhất - cả hai bản còn thiếu gì so với một mô hình thương mại thật.

Rõ ràng mô hình TTMQ chưa dùng FlashAttention, chưa có cơ chế cache thực sự để tăng tốc sinh văn bản, chưa lượng tử hoá, chưa chưng cất, và quan trọng nhất - chưa hề trải qua bất kỳ giai đoạn huấn luyện theo phản hồi con người nào (cái gọi là alignment). Nó thậm chí còn chỉ ra một chi tiết rất "người thật việc thật": phần định tuyến Mixture-of-Experts trong mô hình minh hoạ vẫn dùng vòng lặp Python chưa tối ưu, nên dù về lý thuyết giảm được một nửa chi phí tính toán, tốc độ đo thực tế trên đồng hồ lại không giảm tương ứng — một khoảng cách rất thật giữa "đẹp trên giấy" và "nhanh trên phần cứng".

Vậy ai nên đọc?

Nếu bạn đã biết sơ sơ về machine learning, đã nghe qua "Transformer", "attention", "gradient descent" nhưng vẫn có cảm giác lơ lửng — hiểu khái niệm mà không hiểu vì sao — đây đúng là cuốn sách lấp đầy khoảng trống đó. Nó không dạy bạn cách gọi API hay prompt engineering. Nó dạy bạn đọc hiểu bên trong cỗ máy.

Nếu bạn là học sinh, sinh viên đang tìm một lý do thuyết phục để học nghiêm túc đại số tuyến tính, xác suất thống kê, giải tích — thay vì học để thi rồi quên — đây là bằng chứng sống động nhất mình từng thấy rằng những môn học đó không hề trừu tượng vô dụng.

Và nếu bạn chỉ đơn giản tò mò "bộ não" của ChatGPT hay Claude thực chất trông như thế nào bên dưới lớp giao diện chat, cuốn sách này — dù không phải đọc một lèo trong một buổi tối — sẽ cho bạn câu trả lời chính xác và trung thực hơn bất kỳ bài báo công nghệ phổ thông nào.

Lời kết

Câu hỏi mở đầu cuốn sách là "Học Toán để làm gì?" — và sau khi đọc xong, câu trả lời đúng nhất không phải là một định nghĩa, mà là một trải nghiệm: học Toán không phải để nhớ công thức, mà để có khả năng tự dựng lại công thức đó khi cần, và biết chính xác nó đang làm gì bên trong một hệ thống thật — dù hệ thống đó nhỏ như TTMQ hay lớn như những mô hình đang thay đổi cách cả thế giới làm việc mỗi ngày.

Toán không nằm ngoài AI. Toán là AI, chỉ là được viết lại bằng một ngôn ngữ lập trình thay vì bằng phấn trắng bảng đen.