Nội dung này phục vụ mục đích giáo dục về AI. Đừng đưa mật khẩu, dữ liệu khách hàng, số định danh hoặc tài liệu chưa được phép chia sẻ vào công cụ bên ngoài.

Trả lời ngắn: Context window là phần thông tin một mô hình có thể tham chiếu khi tạo một lượt phản hồi, gồm dữ liệu được gửi vào và phần trả lời đang tạo. Nó giống khay bếp đang dùng, không phải toàn bộ tủ lạnh dữ liệu mà mô hình từng học hay mọi thứ sản phẩm có thể lưu lâu dài.

Đọc xong, bạn sẽ hiểu:

  • Context window thường chứa những phần nào trong một lượt chat.
  • Vì sao input dài và output mới phải cùng chia một ngân sách.
  • Khi nào nên giữ, tóm tắt, bỏ bớt hoặc hỏi lại để chat không lạc việc.

1. Context Window là gì khi AI trả lời một lượt?

a. AI không chỉ nhìn câu bạn vừa gõ

Bạn nhắn: “Soạn agenda họp 30 phút cho tuần này.” Nếu trước đó cuộc chat đã có mục tiêu, ghi chú cuộc họp cũ và một file đính kèm, hệ thống có thể mang một phần những thứ đó vào lượt hiện tại. Phần model đang được phép tham chiếu để viết câu trả lời gọi là context window.

Một turn (lượt) là một lần bạn gửi input — thông tin đi vào — rồi model tạo output — phản hồi mới đi ra. Vì vậy, context window không chỉ là “ô prompt”. Nó là khung làm việc tạm thời của một lượt tạo câu trả lời.

Hãy hình dung khay bếp có chỗ giới hạn: chỉ đặt nguyên liệu của món này, không đổ cả tủ lạnh lên đó. Dữ liệu huấn luyện là kho model đã học; khay là phần đang dùng cho món hiện tại.

b. Một khay phải chừa chỗ cho món vừa nấu

Điểm hay bị bỏ sót là output cũng cần chỗ. Nếu bạn gửi rất nhiều lịch sử, tài liệu và hướng dẫn, phần còn lại cho agenda mới có thể ít hơn. Tài liệu Claude mô tả system prompt, messages, tài liệu/hình ảnh, định nghĩa tool và output đều có thể tính vào context window của request; cách đóng gói cụ thể tùy nền tảng và model. Claude — Context windows

Đừng biến điều này thành phép tính cứng. Mỗi sản phẩm có quy tắc và giới hạn riêng. Ý thực hành là: input càng nhiều, bạn càng phải nhớ chừa chỗ output cho câu trả lời mình thật sự cần.

Hình 1 — Input càng nhiều thì phần cần chừa cho phản hồi mới càng ít trong cùng một lượt.

c. Context không tự là memory dài hạn

Một ứng dụng có thể có memory dài hạn, tức thông tin được lưu ngoài một lượt để dùng lại sau. Điều đó không có nghĩa nó luôn nằm trong context; khi cần độ chính xác, vẫn nói rõ nhiệm vụ và dữ kiện quan trọng.

Nếu bạn muốn ôn phần nền, xem lại Token, Context Window và Temperature. Bài này đi sâu vào cách chiếc cửa sổ được dùng trong lúc cuộc trò chuyện chạy.

2. Một lượt chat đi qua cửa sổ như thế nào?

a. Lịch sử có thể được mang theo từng lượt

Vì vậy, bài Context Engineering là gì? tập trung vào cách chọn đúng thông tin cho đúng nhiệm vụ.

Giả sử bạn đang chuẩn bị agenda. Lượt đầu: bạn nêu mục tiêu họp. Lượt hai: bạn thêm ba việc tồn đọng. Lượt ba: bạn yêu cầu agenda sáu bullet có thời lượng. Đến lượt ba, lịch sử hội thoại là các tin nhắn cũ mà ứng dụng chọn gửi lại cùng yêu cầu mới.

Mỗi cuộc gọi lại có thêm giấy tờ trên bàn. Giấy tờ đúng việc thì giúp; giấy tờ cũ không liên quan chỉ chiếm chỗ. Context Engineering là gì? vì thế là chọn đúng thông tin cho đúng việc.

b. Tài liệu và tool cũng là “giấy tờ trên bàn”

Khi trợ lý gọi công cụ, tool result là kết quả công cụ trả lại để model dùng tiếp. Nó hữu ích nhưng vẫn chiếm chỗ; Một số API có thể tái sử dụng phần input lặp lại để giảm chi phí hoặc thời gian xử lý, nhưng phần đó vẫn có thể được tính trong giới hạn context; hãy xem tài liệu đúng API. Claude — Manage tool context

Đừng dán năm tài liệu khi chỉ cần một trang. Nếu chatbot hỏi lại, hãy đưa dữ kiện vào thay vì tăng độ dài prompt.

Hình 2 — Mỗi lượt có thể mang theo phần lịch sử liên quan rồi bổ sung thông tin mới.

c. Ví dụ agenda: giữ điều quyết định đầu ra

Bạn cần agenda 30 phút. Những thứ nên giữ là mục tiêu, người tham gia, ba quyết định cần chốt và format đầu ra. Tin nhắn chào hỏi, tranh luận đã xong hoặc chi tiết dự án khác có thể bỏ khỏi lượt này.

Đây là khác biệt giữa “đưa nhiều thông tin” và “đưa thông tin có việc”. Bài Vì sao Context quan trọng hơn Prompt? đã nói prompt hay không cứu được dữ kiện sai hoặc thiếu. Context window nhắc thêm một chuyện: dữ kiện đúng nhưng không liên quan cũng có giá phải trả.

3. Context dài: điều gì hỏng trước và vì sao không nên nhét tất?

a. Lầm tưởng: càng dài, AI càng nhớ tốt

Đoán chắc “chat dài hơn thì AI sẽ nhớ tốt hơn” là sai. Context lớn cho phép model xử lý nhiều thứ hơn, nhưng nhiều thông tin không tự làm thông tin quan trọng nổi bật. Tài liệu Claude cảnh báo khi token tăng, độ chính xác và khả năng gọi lại thông tin có thể giảm; vì vậy chọn lọc nội dung quan trọng không kém tăng sức chứa. Claude — Context windows

Với một số model và bài test, khả năng tìm đúng chi tiết giảm khi context dài hoặc thông tin quan trọng bị chôn giữa nhiều đoạn. Không có ngưỡng chung; hãy test đúng model bằng vài case đại diện.

Một biên bản họp tốt giữ quyết định và hạn chót, không chép từng câu. Tóm tắt cũng vậy: giữ điều ảnh hưởng việc tiếp theo.

b. Lầm tưởng: mọi giao diện cắt lịch sử như nhau

Khi gần giới hạn, API có thể báo lỗi hoặc dừng output tùy model. Giao diện chat cũng có thể quản lý lịch sử theo chính sách riêng. Đừng lấy một lần chatbot quên tin nhắn cũ để kết luận mọi hệ thống “xóa từ đầu”.

Context overflow là tình huống request vượt phần model có thể nhận hoặc tạo tiếp. Xem tài liệu sản phẩm, giảm phần không liên quan rồi thử nhiệm vụ nhỏ hơn. Đừng cố nhét thêm để “cho chắc”.

c. Lầm tưởng: context là nơi bỏ dữ liệu nhạy cảm

Context không phải két sắt. Đây là rủi ro riêng tư: dùng tên giả, mã đơn giả và nội dung được phép. Đừng dán mật khẩu, số thẻ, thông tin định danh hay file khách hàng chỉ để chatbot “hiểu đầy đủ hơn”.

4. Checklist giữ context gọn mà vẫn đủ việc

a. Hỏi bốn câu trước khi gửi

  1. Mục tiêu output là gì? Ví dụ: agenda sáu bullet, không phải “giúp tôi xử lý mọi thứ”.
  2. Dữ kiện nào quyết định output? Giữ hạn 30 phút, người họp, ba việc cần chốt.
  3. Phần nào chỉ là lịch sử? Nếu vẫn cần, tóm thành một hoặc hai dòng có quyết định rõ ràng.
  4. Thiếu điều kiện nào? Nếu thiếu, hỏi lại thay vì tự bịa hoặc ép model đoán.

b. Chọn giữ, tóm tắt, bỏ hoặc chia việc

  • Giữ nguyên văn khi chi tiết phải chính xác: yêu cầu hiện tại, số liệu đã kiểm, tên trường dữ liệu.
  • Tóm tắt khi chỉ cần kết luận cũ: “Tuần trước đã ưu tiên phản hồi khách chậm.”
  • Bỏ khi không ảnh hưởng nhiệm vụ hiện tại: lời chào, bản nháp đã loại, trao đổi ngoài lề.
  • Chia việc khi mỗi bước có đầu ra kiểm được, kể cả khi bước sau phụ thuộc bước trước: trước hết tóm tài liệu, kiểm bản tóm tắt, rồi dùng bản đã duyệt để soạn agenda.

Không có quy tắc “càng ngắn càng hay”. Context tốt là đủ để làm đúng việc, đủ chỗ cho output, và có thể kiểm lại nguồn của nó.

Hình 3 — Context gọn không phải ít thông tin; đó là giữ đúng thông tin cho việc hiện tại.

5. Bài tập 15 phút: dọn một yêu cầu dài thành context dùng được

a. Làm bằng dữ liệu giả

Dùng một khung ghi chú hoặc chatbot miễn phí, nhưng chỉ dùng dữ liệu giả. Viết một yêu cầu dài về cuộc họp tuần: mục tiêu, ba người tham gia, một lịch sử cũ, lời chào và vài chi tiết ngoài lề. Sau đó dành 15 phút làm theo thứ tự:

  1. Gạch chân điều quyết định agenda.
  2. Viết hai dòng tóm tắt lịch sử còn liên quan.
  3. Xóa phần ngoài lề khỏi request mới.
  4. Ghi rõ format output: sáu bullet, mỗi bullet có thời lượng.

Mẫu đối chiếu

Giữ nguyên Tóm tắt Bỏ khỏi lượt này Chừa output
Mục tiêu: chốt 3 việc tuần này; 3 người họp; họp 30 phút Tuần trước đã thống nhất ưu tiên phản hồi khách chậm Lời chào, trao đổi đã xong, chi tiết dự án không liên quan Agenda 6 bullet, mỗi bullet có thời lượng

Request sau khi dọn có thể là: “Soạn agenda 30 phút cho ba người để chốt ba việc tuần này. Bối cảnh: tuần trước đã ưu tiên phản hồi khách chậm. Trả về sáu bullet, mỗi bullet ghi thời lượng.” Đây là input gọn, kiểm được và có chỗ cho phản hồi.

c. Điểm dừng an toàn

Nếu không biết dữ kiện nào đúng, dừng và hỏi người có nguồn. Nếu tài liệu quá dài, chia thành từng phần và giữ ghi chú nguồn. Nếu có dữ liệu thật không được phép chia sẻ, thay bằng dữ liệu giả. Kỹ thuật tổ chức context không thay thế quyền truy cập hay việc kiểm chứng.

6. Tổng kết

a. Năm ý chính

  • Context window là khung thông tin model tham chiếu khi tạo một lượt phản hồi, không phải toàn bộ kiến thức đã học.
  • Input và output cùng cần chỗ; gửi thêm tài liệu không phải lúc nào cũng giúp.
  • Lịch sử, tài liệu và kết quả tool chỉ nên giữ khi có ích cho nhiệm vụ hiện tại.
  • Context dài cần được chọn lọc, tóm tắt hoặc chia việc; không có hành vi overflow chung cho mọi sản phẩm.
  • Context tốt phải đủ việc, có nguồn rõ và không chứa dữ liệu bạn không được phép chia sẻ.

b. Câu hỏi tự kiểm tra

  • Context window khác dữ liệu huấn luyện ở điểm nào?
  • Vì sao phải chừa chỗ cho output khi gửi input dài?
  • Trong case agenda, chi tiết nào nên tóm tắt thay vì giữ nguyên?
  • Khi chatbot thiếu một dữ kiện quyết định, bạn nên làm gì?

c. Gợi ý đáp án

Xem gợi ý câu 1

Context window là phần đang được tham chiếu trong một lượt; dữ liệu huấn luyện là kiến thức model đã học trước đó. → xem mục 1.

Xem gợi ý câu 2

Output mới cũng dùng cùng phần sức chứa, nên input quá nhiều có thể làm phản hồi bị giới hạn hoặc khó tập trung. → xem mục 1.

Xem gợi ý câu 3

Nên tóm kết luận của tuần trước, còn giữ mục tiêu, người họp, thời lượng và việc cần chốt. → xem mục 2 và 5.

Xem gợi ý câu 4

Hỏi lại hoặc tìm nguồn đáng tin, thay vì để model đoán rồi coi kết quả là chắc chắn. → xem mục 4.

d. Thuật ngữ cần nhớ

Thuật ngữ Giải thích ngắn
Context window Thông tin model tham chiếu trong một lượt tạo phản hồi.
Turn Một lần gửi input và nhận output.
Input Thông tin gửi vào cho model.
Output Phản hồi mới model tạo ra.
Lịch sử hội thoại Tin nhắn cũ được mang theo lượt hiện tại.
Tool result Kết quả công cụ trả lại cho model.
Tóm tắt Ghi chú ngắn giữ lại điều còn ảnh hưởng việc sau.
Context overflow Request vượt phần model có thể nhận hoặc tạo tiếp.

e. Nguồn tham khảo

Tiếp theo: Memory và Long-term Context — phần nào nên được lưu ngoài một lượt, và vì sao lưu được không đồng nghĩa luôn phải đưa vào context.

Nội dung này phục vụ mục đích giáo dục về AI. Hãy kiểm chứng dữ liệu quan trọng và chỉ chia sẻ thông tin khi bạn có quyền làm vậy.