Trả lời ngắn: Token là mảnh dữ liệu mô hình đọc và tạo; context window là ngân sách token mô hình có thể xét trong một lượt; temperature là tham số ảnh hưởng mức phân tán khi chọn token tiếp theo. Ba thứ lần lượt nói về đơn vị, sức chứa và cách lấy mẫu.

Đọc xong, bạn sẽ hiểu:

  • Vì sao một token không luôn bằng một từ.
  • Những gì thật sự chiếm chỗ trong context window.
  • Khi nào temperature thấp hoặc cao hơn có thể hữu ích, và giới hạn của nó.

Lưu ý giáo dục: Nội dung này không phải lời khuyên đầu tư hoặc tín hiệu giao dịch. Không đưa dữ liệu nhạy cảm vào công cụ thực hành.

Ở bài trước về cách LLM hoạt động, ta đã thấy mô hình ngôn ngữ lớn, hay LLM, tạo câu trả lời từng token. Giờ ta tách ba nút khác nhau.

1. Token: mảnh văn bản LLM thật sự xử lý

a. Token không luôn là một từ

Con người nhìn câu Mình gửi báo cáo lúc 8:30 nhé! thành từ và dấu. LLM nhận chuỗi token có thể gồm cả từ, phần từ, ký tự, số hoặc dấu. Vì thế, token = từ không dùng để tính chính xác.

Bộ biến nội dung thành token gọi là tokenizer; quá trình này là tokenization. Mỗi model có thể dùng bộ từ vựng và cách tách khác, nên tên riêng, tiếng Việt có dấu, code và dấu câu khó quy đổi bằng một công thức chung.

OpenAI Help xác nhận cách tách tùy model; quy đổi sang từ chỉ là ước lượng.

b. Token đi vào và token đi ra

Input token nằm trong yêu cầu; output token là phần model tạo. Cả hai dùng giới hạn xử lý.

Hình 1 — Token là đơn vị, context window là sức chứa, còn temperature ảnh hưởng cách lấy mẫu; ba khái niệm nối nhau nhưng không thay thế nhau.

2. Context Window: ngân sách cho một lượt xử lý

a. Những gì cùng chiếm cửa sổ

Context window, hay cửa sổ ngữ cảnh, là lượng token model có thể xét khi tạo phản hồi. Nó giống mặt bàn: tài liệu nằm ngoài bàn không trực tiếp có mặt trong lượt đó. Giới hạn thật được đo bằng token.

Trong đó có system instruction — hướng dẫn cấp hệ thống — cùng prompt (yêu cầu và dữ liệu bạn gửi), lịch sử, tài liệu, kết quả công cụ và output. Tài liệu Anthropic cho biết các phần này cùng góp vào cửa sổ; cách đếm tùy nền tảng.

Context không phải training data đã dùng để huấn luyện, cũng không tự động là memory dài hạn. Ứng dụng có thể lưu thông tin rồi đưa lại vào context, nhưng đó là lớp sản phẩm khác.

b. Sức chứa lớn chưa chắc dùng tốt mọi chi tiết

Có chỗ cho 100 tờ giấy không bảo đảm tìm đúng tờ nằm giữa chồng lộn xộn. Lost in the Middle ghi nhận hiệu suất có thể giảm khi thông tin liên quan nằm giữa context dài trong các thử nghiệm. Kết quả không đại diện mọi model, nhưng tách sức chứa khỏi khả năng dùng thông tin.

Context hữu ích cần đúng, liên quan và có cấu trúc. Tài liệu trùng có thể tăng nhiễu. Khi chạm giới hạn, mỗi app có thể báo lỗi, cắt, tóm tắt hoặc quản lý lịch sử khác nhau; hãy xem tài liệu thay vì đoán.

Hình 2 — Input và output dùng chung một ngân sách minh họa; từng nền tảng có thể công bố giới hạn theo cách riêng.

3. Temperature: cách chọn token tiếp theo đa dạng đến đâu

a. Lấy mẫu có trọng số, không tung xúc xắc mù

Khi tạo token tiếp theo, model có nhiều ứng viên. Sampling, hay lấy mẫu, là bước chọn theo phân bố xác suất; temperature tác động độ tập trung của phân bố đó.

Mức thấp nghiêng về ứng viên nổi trội, khiến output bớt phân tán. Mức cao hơn cho ứng viên khác thêm cơ hội, nên output đa dạng hơn.

Prompt Chiều nay trời mưa, Lan... có thể tiếp bằng mang ô, ở nhà hoặc đổi lịch. Temperature ảnh hưởng cách lấy mẫu, còn model, prompt và context tạo mức phù hợp ban đầu.

b. Temperature không phải nút chỉnh thông minh

Trích mã hóa đơn thường cần ổn định; nghĩ tên quán cần nhiều hướng. Nhưng temperature thấp không sửa dữ kiện sai, còn mức cao không tự làm ý tưởng hay hơn.

Top-p cũng giới hạn nhóm ứng viên; chưa nên chỉnh cùng temperature. Google Prompt Design Strategies cho biết tham số tùy model và khuyên giữ mặc định với một số dòng. Không thấy nút chỉnh chưa chắc là lỗi.

Hình 3 — Temperature đổi cách chọn giữa các ứng viên; nó không thêm dữ kiện, mở rộng context hay làm model thông minh hơn.

4. Ba hiểu lầm khiến prompt tốn mà chưa chắc tốt hơn

a. Ba lỗi thường gặp

Lỗi 1: áp công thức tiếng Anh cho tiếng Việt. Cùng số từ chưa chắc cùng số token; hãy dùng bộ đếm của đúng model.

Lỗi 2: nhồi context cho “chắc”. Tài liệu thừa tranh chỗ và tạo nhiễu. Chỉ giữ phần liên quan, không trùng và có nguồn đáng tin.

Lỗi 3: tăng temperature để chữa prompt thiếu dữ kiện. Tham số lấy mẫu không bù được yêu cầu mơ hồ hoặc nguồn sai. Hãy sửa input trước.

Đoán chắc: context càng lớn và temperature càng thấp thì câu trả lời luôn đúng hơn.

Có điều kiện: context hữu ích phải đúng và liên quan; temperature thấp chỉ làm cách lấy mẫu bớt phân tán, không sửa dữ kiện sai hay prompt thiếu.

b. Checklist chọn hướng thiết lập

Khái niệm Nó điều khiển gì? Nó không tự quyết định gì?
Token Đơn vị model đọc, tạo và thường dùng để đo mức sử dụng Độ đúng của nội dung
Context window Lượng token model có thể xét trong một lượt Memory dài hạn hoặc khả năng dùng tốt mọi chi tiết
Temperature Mức phân tán trong cách lấy mẫu token Kiến thức, nguồn, kích thước context hoặc độ thông minh

Làm theo thứ tự:

  1. Chọn dữ liệu liên quan, bỏ phần trùng và che thông tin nhạy cảm.
  2. Đếm token bằng công cụ đúng model khi độ dài hoặc chi phí quan trọng.
  3. Chừa chỗ cho câu trả lời; max output tokens là trần, không bắt model viết đủ.
  4. Giữ mặc định trước; chỉ đổi temperature khi cần so độ ổn định và đa dạng.
  5. Mỗi lần chỉ đổi một biến, rồi kiểm bằng tiêu chí cụ thể.

Với việc rủi ro cao, temperature thấp không thay nguồn chính thức và chuyên gia. Không nhập mật khẩu, khóa truy cập dịch vụ, cụm từ khôi phục ví hay hồ sơ mật.

5. Bài tập 15 phút: tự nhìn token, context và độ biến thiên

a. Chuẩn bị công cụ miễn phí

Dùng OpenAI Tokenizer hoặc bộ đếm chính thức của model. Thử output bằng Google AI Studio nếu truy cập được; nếu không, dùng chatbot miễn phí. Không nạp tiền và chỉ dùng dữ liệu giả.

b. Chạy ba phép thử

  1. Dán Mình gửi báo cáo lúc 8:30 nhé! vào tokenizer. Ghi kết quả, thêm ! hoặc đổi báo cáo thành report, rồi ghi lại. Kết quả chỉ đúng cho bộ tách đang mở.
  2. Đưa năm dòng giả như Bút — xanh, Sổ — vàng, Cốc — trắng, rồi hỏi màu món thứ ba. Xóa dòng thứ ba và hỏi lại. Nếu model vẫn trả lời, đó là suy đoán chứ không phải dữ kiện còn trong context.
  3. Nếu công cụ cho chỉnh temperature, giữ prompt Viết 5 tiêu đề ngắn cho quán cà phê yên tĩnh. Chạy hai lần ở mức thấp được phép, rồi hai lần ở mức cao hơn. Không đổi tham số khác.

Nếu không chỉnh được, chạy prompt ở ba chat mới. Output có thể biến thiên, nhưng chưa thể kết luận temperature là nguyên nhân duy nhất.

Mẫu đối chiếu

Phép thử Thay đổi duy nhất Mẫu đã điền Điều kết luận được
Token thực chạy Đổi báo cáo thành report cl100k_base: 19 → 16 token Token phụ thuộc chuỗi và bộ tách.
Token thực chạy Thêm một ! Vẫn 19; token cuối đổi ! → !! Ký tự đổi nhưng số token chưa chắc đổi.
Context giả lập Xóa dòng Cốc — trắng Trả lời không đủ dữ kiện Dòng bị xóa không còn là căn cứ trực tiếp.
Temperature giả lập Thấp → cao hơn 2 tên lặp → 5 tên khác nhau Đa dạng hơn không bảo đảm hay hơn.

Hai dòng đầu được chạy ngày 18/07/2026 bằng tokenizer cl100k_base; chúng không đại diện mọi model. Hai dòng sau ghi rõ giả lập. Dừng nếu công cụ đòi thẻ, tiện ích trình duyệt lạ hoặc dữ liệu riêng tư.

6. Tổng kết: quản lý đầu vào trước khi chỉnh đầu ra

a. Năm ý chính

  • Token không luôn là một từ; muốn đếm sát phải dùng tokenizer của model.
  • Context window là ngân sách token cho một lượt, khác training data và memory dài hạn.
  • Context lớn chứa được nhiều hơn nhưng không bảo đảm mọi chi tiết được dùng tốt.
  • Temperature ảnh hưởng cách lấy mẫu, không thêm kiến thức hay sửa prompt thiếu dữ kiện.
  • Thử nghiệm tốt là giữ nguyên prompt, mỗi lần chỉ đổi một biến và ghi kết quả.

b. Câu hỏi tự kiểm tra

  • Vì sao không thể lấy số từ tiếng Việt nhân một hệ số cố định để có token chính xác?
  • Lịch sử chat, tài liệu và output liên hệ thế nào với context window?
  • Temperature thấp có làm một claim sai thành đúng không?
  • Nếu giao diện không cho chỉnh temperature, việc lặp prompt ở chat mới chứng minh được gì?

c. Gợi ý đáp án

Xem gợi ý câu 1

Tokenizer và bộ từ vựng khác nhau; tiếng Việt có thể bị tách khác. Xem lại mục 1.

Xem gợi ý câu 2

Chúng có thể cùng tiêu ngân sách token, tùy cách nền tảng công bố giới hạn. Xem lại mục 2.

Xem gợi ý câu 3

Không. Temperature đổi cách lấy mẫu, không sửa nguồn hoặc bổ sung dữ kiện. Xem lại mục 3-4.

Xem gợi ý câu 4

Nó cho thấy output có thể biến thiên, nhưng chưa cô lập được temperature là nguyên nhân. Xem lại mục 5.

d. Thuật ngữ cần nhớ

Thuật ngữ Giải thích ngắn
Token Mảnh dữ liệu model đọc và tạo ra.
Tokenizer Bộ tách nội dung thành token và ánh xạ sang mã số.
Tokenization Quá trình biến nội dung thành chuỗi token.
Input token Token nằm trong yêu cầu gửi vào model.
Output token Token model tạo cho câu trả lời.
Context window Ngân sách token model có thể xét trong một lượt.
System instruction Hướng dẫn cấp hệ thống định hình hành vi chung.
Sampling Chọn token từ các ứng viên theo phân bố xác suất.
Temperature Tham số ảnh hưởng mức phân tán khi lấy mẫu.
Max output tokens Trần số token được phép tạo cho output.

e. Nguồn tham khảo

Bài tiếp theo: Anatomy của một Prompt tốt — cách sắp xếp mục tiêu, dữ liệu và ràng buộc trong ngân sách context.

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch. Hãy kiểm tra nguồn chính thức trước mọi quyết định có rủi ro.