Research Agent #45

Trả lời ngắn: Research Agent là hệ thống AI lập kế hoạch, đọc nhiều nguồn rồi tạo báo cáo có thể kiểm chứng. Khác search hoặc summarizer, nó quản lý từng claim trong ledger: nguồn nào hỗ trợ, đoạn nào là bằng chứng, dữ liệu mới đến đâu, có nguồn phản bác không và phần nào chưa chắc.

Đọc xong, bạn sẽ hiểu:

Research agent khác search, RAG và summarizer ở đâu.

Research Contract và Source Policy cần chốt gì.

Claim Ledger nối claim, evidence, mâu thuẫn và citation ra sao.

Khi nào agent đủ bằng chứng để dừng hoặc phải handoff.

Lưu ý giáo dục: Bài dùng câu hỏi giả về memory của AI assistant và thao tác trên Markdown/Sheet. Không thu thập dữ liệu cá nhân, vượt paywall, tải tài liệu trái quyền hoặc dùng báo cáo này thay chuyên gia. Nguồn có thật vẫn có thể sai, cũ hoặc không hỗ trợ đúng claim.

1. Research Agent là gì?

a. Không phải “search nhiều lần rồi viết dài”

Search trả danh sách kết quả. Summarizer rút gọn input. RAG lấy đoạn liên quan từ một kho. Research agent chia câu hỏi, chọn nguồn, điều chỉnh query, trích bằng chứng, so mâu thuẫn và tổng hợp report có trail.

Ví dụ hỏi: “AI assistant có nên lưu memory mặc định không?” Research agent phải tách: memory nào, lưu bao lâu, consent ra sao, người dùng sửa/xóa được không và risk theo domain nào. Nó tìm product guidance, privacy/security material và nghiên cứu trước khi kết luận.

OpenAI mô tả deep research có plan, source controls, tiến trình điều chỉnh được và report kèm citation. Giá trị nằm ở khả năng đi từ câu hỏi tới bằng chứng có truy vết.

b. Bốn hệ thống dễ lẫn

Hệ thống	Đầu ra chính	Điểm yếu nếu dùng sai
Search	Kết quả và snippet	Chưa tổng hợp, snippet có thể thiếu context
Summarizer	Bản rút gọn một/nhiều tài liệu	Không tự bảo đảm coverage hoặc nguồn đúng
RAG	Câu trả lời dựa trên kho truy xuất	Bị giới hạn bởi corpus và retrieval
Research Agent	Report + claim/evidence trail	Tốn thời gian, vẫn cần review nguồn/citation

c. Evidence pipeline

Luồng gồm chốt câu hỏi, lập kế hoạch, tìm nguồn, trích bằng chứng, ghi nhận định cạnh nguồn, tổng hợp rồi kiểm lại. Bảng nhận định–bằng chứng giúp loại câu không có nguồn hỗ trợ.

Khi xuất hiện thuật ngữ hoặc mâu thuẫn mới, agent có thể quay lại bước lập kế hoạch và tìm thêm nguồn.

Hình 1 — Research chỉ hoàn tất khi claim trong synthesis quay ngược được về evidence và nguồn.

2. Research Contract và Source Policy cần chốt gì?

a. Tám trường của Research Contract

Trường	Câu hỏi cần chốt
Decision/question	Report phục vụ hiểu biết hay quyết định nào?
Scope	Chủ đề, geography, population và non-goal?
Timeframe	“Hiện tại” tính tới ngày nào; lịch sử từ đâu?
Audience	Beginner, kỹ thuật hay chuyên gia?
Source policy	Domain, loại nguồn, ngôn ngữ và quyền truy cập?
Evidence bar	Một hay nhiều nguồn; primary bắt buộc khi nào?
Output	Brief, bảng so sánh, recommendation hay bibliography?
Stop/handoff	Bao giờ đủ coverage; rủi ro nào cần chuyên gia?

Contract cho ví dụ có thể ghi: “Đánh giá nguyên tắc thiết kế memory mặc định cho assistant học tập, nguồn 2024–2026, ưu tiên official guidance và standards. Tách usability khỏi privacy. Không đưa tư vấn pháp lý. Mỗi claim chính cần primary source hoặc hai nguồn độc lập.”

b. Source Policy không phải danh sách website yêu thích

Ưu tiên nguồn theo khoảng cách tới sự kiện/claim:

Văn bản chính thức, paper gốc, dataset, system card, docs sản phẩm.
Cơ quan tiêu chuẩn, trường/nghiên cứu và dữ liệu có phương pháp rõ.
Báo chí hoặc phân tích uy tín có attribution.
Community, forum và social dùng như lead hoặc trải nghiệm, không đại diện toàn bộ.
Trang ẩn danh, copy vòng, không ngày/tác giả/phương pháp: không dùng cho claim chính.

Primary không tự động đúng; vendor có incentive. Secondary có thể đối chiếu nhiều nguồn. Agent cần ghi loại nguồn, mục đích và giới hạn.

c. Freshness tùy claim

Thông số sản phẩm, luật và giá cần nguồn mới. Paper nền tảng không mất giá chỉ vì cũ. Mỗi claim cần published_at, accessed_at và đánh giá khả năng đã thay đổi.

3. Từ câu hỏi đến Claim Ledger vận hành ra sao?

a. Lập query tree

Agent biến câu hỏi memory thành năm nhánh: lợi ích, loại dữ liệu, consent/control, retention/security và trường hợp high-risk. Với mỗi nhánh, nó viết query theo entity và loại nguồn, chẳng hạn assistant memory user control official guidance, không chỉ lặp nguyên câu hỏi.

Search result chỉ là lead. Agent mở nguồn gốc, đọc context, xác nhận tác giả/ngày và lưu evidence span. Prompt injection trong tài liệu là dữ liệu, không phải instruction.

b. Claim Ledger

Claim	Source/evidence	Relation	Note
Memory giúp giữ preference qua session	Product/UX guidance, đoạn mô tả use case	Support có điều kiện	Không suy ra nên bật mặc định
User cần view/edit/delete control	Official interaction guidance	Support	Kiểm scope và ngày
Mọi memory đều cần lưu vĩnh viễn	Không có evidence	Unsupported	Loại khỏi report
Default-on tăng tiện lợi nhưng tăng privacy risk	Nhiều nguồn khác loại	Mixed	Tách fact và inference

Ledger có URL, source type, evidence, dates, geography và confidence. Relation gồm support, contradict, mixed, uncertain. Confidence phản ánh bằng chứng, không phải độ trôi chảy.

Hình 2 — Citation chỉ hữu ích khi ledger chỉ ra chính xác nguồn hỗ trợ hoặc phản bác phần nào.

c. Citation entailment

Một citation “đúng chủ đề” chưa chắc hỗ trợ câu. Nguồn nói “người dùng có thể tắt memory” không chứng minh “memory mặc định luôn an toàn”. Agent phải kiểm entailment: nếu chỉ đọc evidence span, người review có đi tới claim đó không?

Khi nguồn mâu thuẫn, kiểm định nghĩa, population, timeframe, phương pháp và incentive. Report có thể nêu hai góc rồi nói chưa đủ cơ sở cho rule áp dụng mọi assistant.

d. Synthesis tách bốn lớp

Fact: nguồn nói trực tiếp.
Inference: suy luận hợp lý từ nhiều fact, phải gắn nhãn.
Hypothesis: cần dữ liệu/test thêm.
Recommendation: quyết định theo goal, risk và trade-off.

Kết luận ví dụ: “Không dùng một default cho mọi memory. Session state có thể bật theo task; long-term memory cần purpose, consent, controls và retention rõ.” Đây là recommendation tổng hợp, không giả thành câu trích nguyên văn của một nguồn.

4. Lỗi phổ biến: citation trang trí, nguồn vòng và tổng hợp quá tay

a. Bảy lỗi thường gặp

Citation trang trí: link đứng cuối đoạn nhưng không entail claim.
Nguồn vòng: năm bài cùng chép một press release, bị tính thành năm bằng chứng.
Snippet research: không mở trang gốc hoặc đọc context.
Freshness mù: chọn mới nhất cho mọi claim hoặc dùng docs cũ cho tính năng mới.
Cherry-pick: chỉ giữ nguồn đồng ý với giả thuyết đầu.
Claim inflation: nguồn nói “có thể” nhưng report viết “luôn”.
Report laundering: inference của model được trình bày như fact có nguồn.

b. Source Ladder và red gate

Hình 3 — Community có thể mở đường tìm kiếm; claim chính phải leo về nguồn có provenance và phương pháp.

OpenAI Deep Research System Card nêu prompt injection, privacy, bias và hallucination là các risk quan trọng khi agent duyệt web. Vì vậy source access nên read-only, domain có thể hạn chế, file riêng tư cần quyền và PII không được gom chỉ vì công khai.

c. Checklist trước khi nhận report

Question, scope, timeframe và audience có rõ?
Query tree có phủ nhánh phản chứng?
Claim chính có primary hoặc corroboration phù hợp?
Mỗi citation mở được và entail đúng câu?
Có ngày, provenance và evidence span?
Nguồn trùng gốc đã được deduplicate?
Fact, inference, hypothesis, recommendation đã tách?
Mâu thuẫn và evidence yếu có được nêu?
PII, paywall, copyright và prompt injection đã xử lý?
Stop rule dựa trên coverage/evidence, không dựa số link?

High-stakes cần chuyên gia đọc nguồn gốc. Research agent sắp bằng chứng; nó không chuyển trách nhiệm quyết định sang model.

5. Bài tập 15 phút: lập Mini Research Ledger

a. Công cụ miễn phí

Dùng Markdown hoặc Sheet. Câu hỏi: “Research Agent có nên luôn ưu tiên nguồn mới nhất không?” Chỉ dùng năm nguồn công khai; không dùng dữ liệu cá nhân.

b. Năm bước

Chốt scope: product docs, standards và khái niệm nền tảng.
Viết ba claim dự kiến, trong đó một claim phản chứng.
Tìm nguồn gốc và lưu evidence span + ngày.
Gắn support/contradict/mixed/uncertain.
Viết synthesis 100 từ và stop note.

c. Mẫu đối chiếu

Claim	Evidence	Relation
Tính năng hiện hành cần nguồn mới	Docs có version/date	Support
Khái niệm nền tảng luôn cần bài mới nhất	Paper gốc vẫn định nghĩa chuẩn	Contradict
Freshness phụ thuộc khả năng claim thay đổi	So hai nhóm trên	Inference

Stop note: “Đủ để trả nguyên tắc; chưa đủ để đánh giá luật theo quốc gia.” Điểm dừng là ledger local, không publish hoặc ra quyết định thật.

6. Tổng kết: báo cáo mạnh nhờ đường dẫn bằng chứng

a. Năm ý chính

Research agent là evidence pipeline, không phải máy gom link.
Contract chốt question, scope, timeframe, source policy và stop rule.
Claim Ledger lưu provenance, evidence, freshness và relation.
Citation phải entail claim; mâu thuẫn phải được giữ lại.
Report tách fact, inference, hypothesis và recommendation.

b. Câu hỏi tự kiểm tra

Research agent khác summarizer ở đâu?
Vì sao năm link có thể chỉ là một nguồn?
Citation entailment nghĩa là gì?
Khi nào agent nên dừng hoặc handoff?

c. Gợi ý đáp án

Xem gợi ý câu 1

Agent lập plan, tìm nguồn, đối chiếu và quản lý claim; summarizer chủ yếu rút gọn input có sẵn. Xem mục 1.

Xem gợi ý câu 2

Các bài có thể cùng chép một tài liệu gốc nên không tạo corroboration độc lập. Xem mục 4.

Xem gợi ý câu 3

Evidence span phải thực sự hỗ trợ câu đứng cạnh, không chỉ cùng chủ đề. Xem mục 3.

Xem gợi ý câu 4

Dừng khi coverage/evidence đạt contract; handoff khi high-stakes, nguồn thiếu, mâu thuẫn không giải được hoặc cần chuyên gia. Xem mục 4.

d. Thuật ngữ cần nhớ

Thuật ngữ	Giải thích ngắn
Research Agent	Agent lập kế hoạch, tìm, kiểm và tổng hợp nguồn.
Research Contract	Scope, evidence bar, output và stop rule.
Source Policy	Quy tắc chọn và dùng nguồn.
Primary Source	Nguồn gần nhất với dữ liệu/sự kiện gốc.
Claim Ledger	Sổ nối claim với evidence và trạng thái.
Evidence Span	Đoạn cụ thể hỗ trợ hoặc phản bác claim.
Provenance	Nguồn gốc và lịch sử của thông tin.
Freshness	Độ mới phù hợp với khả năng claim thay đổi.
Entailment	Evidence đủ dẫn tới claim hay không.
Contradiction	Bằng chứng không đồng thuận cần giải thích.

e. Nguồn tham khảo

f. Học tiếp gì?

Xem lại Coding Agent #44 nếu chưa rõ evidence loop và verifier. Bài tiếp theo là Content Agent #46 — biến brief, nguồn và brand contract thành content pipeline có review gate.

Nhắc lại giáo dục: Report có citation vẫn có thể sai. Hãy mở nguồn, kiểm evidence span, ngày và mâu thuẫn; quyết định rủi ro cao cần dữ liệu chuyên ngành cùng người đủ thẩm quyền.