Trả lời ngắn: Prompt Routing là bước phân loại yêu cầu rồi chuyển nó tới prompt, model, bộ công cụ hoặc workflow phù hợp. Router chỉ chọn đường; nhánh chuyên biệt mới xử lý việc. Thiết kế tốt luôn có safety gate, nhánh chưa rõ và fallback khi phân loại sai hoặc thiếu dữ kiện.

Đọc xong, bạn sẽ hiểu:

  • Router thực sự quyết định gì và không được tự làm gì.
  • Khi nào dùng rule, classifier hoặc một LLM để chọn nhánh.
  • Cách thiết kế unknown, fallback và bộ đo lỗi routing.
  • Cách tự lập Route Card bằng dữ liệu giả trong 15 phút.

Lưu ý giáo dục: Bài dùng tình huống hỗ trợ khách hàng giả lập, không dùng dữ liệu cá nhân hay hệ thống thật. Routing không thay thế authorization, xác nhận của người dùng hoặc kiểm tra nghiệp vụ.

1. Prompt Routing là gì? Chọn đúng đường trước khi xử lý

a. Router là quầy phân luồng, không phải quầy giải quyết

Hình dung bạn tới một trung tâm hành chính. Quầy lấy số hỏi bạn cần làm giấy tờ gì rồi chỉ sang đúng bàn. Quầy đó không tự cấp hộ chiếu, thu tiền hay sửa hồ sơ.

Trong hệ thống AI, router là thành phần làm việc tương tự: đọc những dấu hiệu cần thiết trong request, chọn một route — tức nhánh đích đã định nghĩa trước — rồi chuyển request đi. Specialist là prompt, model hoặc workflow chuyên xử lý nhánh đó.

Ví dụ một trợ lý support giả lập có bốn route:

  • general_info: hỏi giờ làm việc hoặc chính sách chung.
  • technical_help: lỗi đăng nhập, lỗi ứng dụng hoặc hướng dẫn thao tác.
  • billing_sensitive: hoàn tiền, trừ tiền hai lần hoặc tranh chấp thanh toán.
  • unknown: chưa đủ dữ kiện để chọn an toàn.

Nhãn billing_sensitive không có nghĩa router được hoàn tiền. Nó chỉ gửi request sang workflow có kiểm tra quyền, quy tắc nghiệp vụ và xác nhận.

Hình 1 — Router chọn lane chuyên biệt; quyền thực thi vẫn nằm ở workflow phía sau.

b. Routing khác chaining ở chỗ nào?

Routing giống một ngã rẽ: hệ thống chọn một trong nhiều nhánh phù hợp. Prompt chaining giống dây chuyền: output bước trước trở thành input bước sau, chẳng hạn lập dàn ý → kiểm dàn ý → viết bài.

Hai mẫu có thể đi cùng nhau: router chọn technical_help, rồi nhánh đó chạy chain tìm tài liệu → soạn hướng dẫn → kiểm câu trả lời.

Anthropic khuyên dùng routing khi các nhóm đủ khác nhau và có thể phân loại đủ chính xác. Nếu mọi request gần giống nhau, router chỉ làm hệ thống dài hơn. Anthropic — Building effective agents

c. Vì sao không dùng một prompt cho tất cả?

Một prompt chứa mọi quy tắc dễ có chỉ dẫn chen nhau. Routing cho mỗi specialist context và tool vừa đủ; đổi lại, phải kiểm soát lỗi chọn nhầm route.

2. Router có thể gửi request đi đâu?

a. Bốn loại đích thường gặp

Route không chỉ là “chọn model mạnh hay yếu”. Nó có thể chọn:

  1. Prompt: cùng một model nhưng dùng hướng dẫn khác cho support kỹ thuật và billing.
  2. Ví dụ minh họa: route FAQ đã đạt ngưỡng chất lượng trên bộ eval có thể dùng model chi phí thấp; request ngoài phạm vi hoặc không đạt ngưỡng đi model đã được kiểm thử tốt hơn hoặc fallback.
  3. Tool set: nhánh FAQ chỉ được search tài liệu; nhánh billing dùng bộ tool riêng và quyền tối thiểu.
  4. Workflow: general trả lời một bước; billing chạy nhiều bước kiểm tra và cần người xác nhận.

Nếu chỉ cần hai prompt khác nhau, chưa cần dựng một mạng agent phức tạp.

b. Taxonomy phải có ranh giới nhìn thấy được

Taxonomy là danh sách nhãn route và ranh giới giữa chúng. Mỗi nhãn cần mô tả, ví dụ đúng, ví dụ dễ nhầm và cách xử lý khi thiếu thông tin.

Câu “Tôi nâng cấp gói rồi app vẫn khóa tính năng” chạm cả tech lẫn billing. Quy tắc có thể ưu tiên kiểm quyền gói ở billing, sau đó mới chuyển lỗi chức năng sang tech. Đừng route bằng một từ “khóa”; nó có nhiều nghĩa.

c. Rule, classifier hay LLM router?

Rule-based routing dùng điều kiện viết trước, hợp với tín hiệu rõ hoặc luật bắt buộc. Classifier là bộ phân loại gán input vào nhãn, hợp khi có nhiều ví dụ đã gắn nhãn. LLM router hiểu ngôn ngữ linh hoạt hơn nhưng phải trả schema kín và chỉ chọn nhãn có sẵn.

Cách dùng thường gặp là hybrid: safety rule trước, classifier hoặc LLM cho intent sau. Classifier vẫn cần dữ liệu đại diện và theo dõi khi request thay đổi.

3. Một routing flow hoạt động như thế nào?

a. Sáu bước từ request tới câu trả lời

Một flow gọn có thể chạy như sau:

  1. Normalize: bỏ khoảng trắng thừa, xác định ngôn ngữ và giữ nguyên ý người dùng.
  2. Safety gate: phát hiện dữ liệu nhạy cảm, hành động cấm hoặc request cần người thật.
  3. Classify: router trả về route, lý do ngắn và tín hiệu về độ chắc.
  4. Dispatch: hệ thống nạp đúng prompt, model, tool set hoặc workflow.
  5. Validate: kiểm schema, quyền, trích dẫn hoặc business rule của output.
  6. Fallback: nếu thiếu chắc chắn hoặc validation fail, hỏi lại, chuyển người hoặc dùng nhánh an toàn.

Hình 2 — Safety gate đứng trước chọn intent; fallback giữ hệ thống khỏi đoán bừa.

b. Ví dụ “Tôi bị trừ tiền hai lần”

Safety gate che thông tin nhạy cảm nếu người dùng dán số thẻ. Router chọn billing_sensitive; workflow có quyền đọc trạng thái charge và đưa bản xem trước cho nhân viên, nhưng router không được hoàn tiền.

Câu “Tài khoản của tôi có vấn đề” lại thiếu dữ kiện. Route unknown hỏi: “Bạn gặp lỗi đăng nhập, tính năng hay thanh toán?”

c. Confidence không phải giấy bảo đảm

Confidence là tín hiệu về độ chắc của quyết định. Model tự viết 0.97 không chứng minh tín hiệu đã khớp thực tế. Nghiên cứu về routing/rejection cũng coi việc nhận biết output không đáng tin là bài toán cần đánh giá riêng. Chuang và cộng sự, ICML 2025

Chỉ đặt ngưỡng sau khi thử trên bộ eval có nhãn. Dưới ngưỡng, dùng unknown, fallback hoặc người thật; billing cần chặt hơn FAQ vì route nhầm rủi ro hơn.

4. Các lỗi routing phổ biến và guardrails

a. Bốn kiểu hỏng dễ gặp

  • Route chồng lấn: account_help và technical_help cùng nhận lỗi đăng nhập; cần ranh giới và ví dụ khó.
  • Không có unknown: router bị ép đoán khi thiếu dữ kiện.
  • Quyền quá rộng: billing có tool ghi/xóa dù chỉ cần đọc.
  • Chỉ nhìn accuracy chung: dữ liệu nhiều FAQ có thể che toàn bộ lỗi billing hiếm nhưng nguy hiểm.

b. Đo từng kiểu nhầm, không chỉ đo một điểm

Confusion matrix là bảng đối chiếu route thật và route dự đoán. Nó cho thấy billing bị gửi nhầm sang general bao nhiêu lần. Ngoài accuracy, nên theo dõi:

  • Tỷ lệ unknown và tỷ lệ hỏi lại giải quyết được request.
  • False route ở nhánh nhạy cảm.
  • Validation fail sau dispatch.
  • Độ trễ và chi phí cho mỗi request được giải quyết.
  • Tỷ lệ người thật phải sửa route.

c. Guardrail nào phải đứng ngoài router?

Guardrail là quy tắc chặn hoặc giới hạn hành vi. Redaction dữ liệu thanh toán, authorization và xác nhận không nên phụ thuộc duy nhất vào prompt. Fallback có thể hỏi lại một câu, chuyển người thật hoặc trả lời read-only; stop rule ngăn retry vô hạn.

5. Bài tập 15 phút: lập Route Card

a. Chuẩn bị dữ liệu giả

Trên giấy hoặc Markdown, tạo 12 câu giả cho bốn route. Với mỗi route, ghi định nghĩa, dấu hiệu đủ, ví dụ dễ nhầm và fallback. Che nhãn rồi tự phân loại hai lượt; câu đổi nhãn cho thấy taxonomy còn mơ hồ. Không dùng ticket hoặc dữ liệu cá nhân thật.

Dùng bảng 12 request giả bên dưới. Che cột route thật, phân loại hai lượt, rồi mở cột đáp án để lập confusion matrix.

b. Mẫu đối chiếu Route Card đã điền

Trường Mẫu điền
Request giả “Tôi bị trừ tiền hai lần sau khi nâng cấp.”
Safety trước route Không nhập số thẻ; che mã giao dịch nếu có.
Route billing_sensitive
Lý do Có hai khoản charge cho cùng lần nâng cấp.
Specialist Billing triage read-only; chưa hoàn tiền.
Allowed Đọc trạng thái charge đã được cấp quyền.
Forbidden Refund, xóa record hoặc gửi dữ liệu ra ngoài.
Fallback Thiếu mã phù hợp thì hỏi lại; có tranh chấp thì chuyển người.
Stop rule Sau một câu hỏi lại: nếu đủ dữ kiện thì route; nếu vẫn thiếu thì chuyển người hoặc trả hướng dẫn an toàn. Validator fail một lần sau repair thì dừng và ghi lý do.

c. Tự kiểm bằng ma trận nhỏ

Lập bảng 4 × 4 để đếm route thật và route dự đoán. Đây chưa phải benchmark, chỉ là cách nhìn lỗi. Nếu unknown bằng 0, thêm câu thiếu dữ kiện; nếu billing bị nhầm, sửa ranh giới trước khi đổi model. Dừng ở thiết kế trên giấy, không gọi API hay tool thật.

Hình 3 — Route Card biến quyết định mơ hồ thành rule, ví dụ và đường lui có thể kiểm thử.

6. Tổng kết: router tốt biết cả lúc chưa nên chọn

a. Năm ý chính

  • Prompt Routing phân loại request và chuyển tới nhánh chuyên biệt; nó không tự xử lý nghiệp vụ.
  • Route có thể chọn prompt, model, tool set hoặc workflow, tùy khác biệt thật giữa các nhóm việc.
  • Safety gate nên chạy trước semantic router; specialist vẫn cần authorization, validation và confirmation.
  • unknown và fallback là nhánh hợp lệ, không phải dấu hiệu hệ thống yếu.
  • Đánh giá routing bằng từng kiểu nhầm, nhất là nhánh nhạy cảm, thay vì chỉ nhìn accuracy chung.

b. Câu hỏi tự kiểm tra

  • Router khác specialist ở điểm nào?
  • Routing khác prompt chaining ra sao?
  • Vì sao confidence: 0.97 chưa đủ để tin route?
  • Khi nào request nên đi route unknown?

c. Gợi ý đáp án

Xem gợi ý câu 1Router chỉ chọn nhánh; specialist mới xử lý nhiệm vụ bằng prompt, model, tool hoặc workflow phù hợp. → Xem lại mục 1.
Xem gợi ý câu 2Routing chọn một nhánh như ngã rẽ; chaining chạy nhiều bước nối tiếp như dây chuyền. → Xem lại mục 1.
Xem gợi ý câu 3Con số model tự khai cần được hiệu chỉnh và kiểm trên bộ eval có nhãn; nó không phải giấy bảo đảm. → Xem lại mục 3.
Xem gợi ý câu 4Khi input thiếu dữ kiện, các route chồng lấn hoặc độ chắc thấp hơn ngưỡng đã kiểm chứng, hệ thống nên hỏi lại hoặc fallback. → Xem lại mục 3 và 4.

d. Thuật ngữ cần nhớ

Thuật ngữ Giải thích ngắn
Prompt Routing Phân loại request rồi chuyển tới nhánh xử lý phù hợp.
Router Thành phần chọn route, không tự làm nghiệp vụ.
Route Nhánh đích được định nghĩa trước.
Specialist Thành phần chuyên xử lý một nhóm request.
Taxonomy Danh sách nhãn route và ranh giới giữa chúng.
Classifier Bộ phân loại gán input vào nhãn.
Confidence Tín hiệu về độ chắc, cần kiểm chứng bằng eval.
Fallback Đường lui khi thiếu chắc chắn hoặc xử lý lỗi.
Guardrail Quy tắc chặn hoặc giới hạn hành vi.
Confusion matrix Bảng cho thấy route thật và route dự đoán.

e. Nguồn tham khảo

f. Học tiếp gì?

Xem lại MCP (Model Context Protocol) #25 nếu bạn còn nhầm “chọn nhánh” với “kết nối tool”. Học tiếp Multi-Agent System #27 để hiểu ai giao việc, ai giữ trạng thái và ai chịu trách nhiệm kiểm kết quả.

Nhắc lại: Nội dung chỉ phục vụ mục đích giáo dục. Routing không tự làm hệ thống an toàn, đúng pháp lý hay được phép hành động; mọi workflow thật vẫn cần kiểm soát quyền, dữ liệu và con người phù hợp.