Nội dung này phục vụ mục đích giáo dục. Không đưa dữ liệu nhạy cảm hoặc quyền hành động thật vào quy trình lấy mẫu chưa được kiểm soát.

Trả lời ngắn: Self-Consistency trong LLM là cách tạo nhiều output độc lập từ cùng một câu hỏi, chuẩn hóa đáp án cuối rồi tổng hợp theo quy tắc như bỏ phiếu đa số. Cách này hữu ích khi bài có đáp án gom được, nhưng mức đồng thuận giữa các mẫu không phải bằng chứng rằng đáp án chắc chắn đúng.

Đọc xong, bạn sẽ hiểu:

  • Self-Consistency khác gì với retry tùy hứng và Recursive Prompting.
  • Cách năm output được chuẩn hóa, đếm phiếu và chuyển sang accept hoặc abstain.
  • Vì sao nhiều mẫu có thể cùng sai, và khi nào nên dùng nguồn hoặc công cụ kiểm tra thay cho vote.

1. Self-Consistency khác gì với việc hỏi lại nhiều lần?

a. Cùng một input, nhiều mẫu độc lập

Bạn hỏi AI: “6 hộp, mỗi hộp 4 bút, tổng có bao nhiêu bút?” Lần đầu trả lời 24. Nếu chốt ngay, đó là single-path: dùng một output duy nhất.

Với Self-Consistency, ta giữ nguyên câu hỏi và tạo nhiều sample, tức output riêng từ cùng input. Quá trình tạo các biến thể đó gọi là sampling. Mỗi output có thể dùng một đường giải, tức chuỗi bước dẫn đến đáp án cuối, khác nhau.

Năm mẫu giả có thể cho:

  • A: 24
  • B: 24 chiếc
  • C: 20
  • D: đáp án: 24
  • E: 28

Ba cách viết đầu ra khác nhau cùng trỏ đến số 24. Ta chưa chọn bản văn hay nhất; ta gom đáp án cuối để xem lựa chọn nào lặp lại nhiều nhất.

Bài báo gốc mô tả cách lấy nhiều đường giải đa dạng rồi chọn đáp án nhất quán nhất, thay vì chốt đường có khả năng cao nhất. Kết quả thí nghiệm không phải lời hứa cho mọi model và tác vụ. Wang và cộng sự, ICLR 2023

b. Retry và Self-Consistency không giống nhau

Đổi câu hỏi hoặc cho model xem đáp án trước là retry có ảnh hưởng lẫn nhau. Self-Consistency giữ input cố định và tạo mẫu độc lập.

Recursive Prompting cũng khác. Recursive Prompting chạy tuần tự: output vòng trước trở thành state của vòng sau để sửa hoặc tiếp tục. Self-Consistency chạy nhiều nhánh từ cùng một điểm xuất phát, rồi mới tổng hợp ở cuối.

c. “Consistency” không phải tính cách của model

Từ này không có nghĩa model luôn giữ giọng hoặc “tự tin hơn”. Nó chỉ nói về mức output hội tụ về cùng đáp án. Năm mẫu cùng nói sai vẫn là đồng thuận cao nhưng sai.

2. Từ một câu hỏi đến lá phiếu cuối đi qua đâu?

Hình 1 — Self-Consistency chỉ bỏ phiếu sau khi các cách viết tương đương được quy về cùng một nhãn.

a. Flow năm bước

Một flow dễ kiểm soát gồm:

  1. Khóa input: câu hỏi, dữ kiện và format không đổi giữa các mẫu.
  2. Lấy N sample: tạo nhiều output với cấu hình cho phép có độ đa dạng.
  3. Extract: tách final answer ra khỏi phần giải thích.
  4. Normalize: quy các cách viết tương đương về cùng một nhãn.
  5. Aggregate: tổng hợp theo majority vote, tie rule và ngưỡng dừng đã định.

Normalization, hay chuẩn hóa, biến 24, 24 chiếc và đáp án: 24 thành cùng nhãn 24. Bỏ bước này sẽ tách sai một đáp án thành ba.

Majority vote, hay bỏ phiếu đa số, chọn nhãn có nhiều phiếu hợp lệ nhất. Trong ví dụ:

Nhãn chuẩn Số phiếu Vote share
24 3 3/5
20 1 1/5
28 1 1/5

Vote share là tỷ lệ phiếu cho một nhãn trên tổng sample hợp lệ. 3/5 mô tả mức đồng thuận trong năm mẫu này. Nó không có nghĩa xác suất đáp án đúng là 60%.

b. Bộ tách phải hiểu đúng loại đáp án

Bộ tách, hay parser, lấy đáp án cuối khỏi output. Với ticket hỗ trợ, nó có thể map Billing, Thanh toán và payment về cùng nhãn nếu danh mục định trước cho phép.

Không gộp vì hai câu nghe gần giống. Hoàn tiền và Thanh toán thất bại có thể là hai nhánh khác nhau. Chốt bảng nhãn trước; output không tách được là phiếu lỗi.

c. Tie và abstain là kết quả hợp lệ

Nếu bốn sample chia 2–2, tie rule phải chọn: lấy thêm mẫu trong giới hạn, dùng verifier, hoặc dừng.

Abstain nghĩa là chưa kết luận. Khi bất đồng cao hoặc thiếu dữ kiện, abstain → người duyệt an toàn hơn ép chọn.

3. Vì sao số đông có thể giúp, và vì sao số đông vẫn sai?

Hình 2 — Năm mẫu cùng chọn một đáp án vẫn có thể cùng sai nếu input hoặc thiên lệch chung đã sai từ đầu.

a. Lợi ích đến từ nhiều đường tới cùng kết quả

Một bài nhiều bước có thể giải theo nhiều cách. Khi lỗi phân tán còn đáp án đúng hội tụ, vote có cơ hội chọn đúng hơn một đường greedy.

Google Research mô tả phương pháp lấy majority vote trên tập reasoning process được tạo ra. Lợi ích có điều kiện: đáp án phải extract được, mẫu đủ đa dạng và lỗi không dính chùm. Google Research

b. Lỗi cùng nguồn khiến năm phiếu thành một lỗi phóng to

Correlated error là nhiều output lặp cùng lỗi vì chúng dùng chung prompt sai, dữ kiện sai hoặc thiên lệch giống nhau.

Nếu input ghi nhầm “mỗi hộp có 5 bút”, cả năm mẫu có thể đồng thuận 30. Năm bản photo từ cùng tờ gốc sai vẫn không phải năm nguồn độc lập.

Ba lỗi hay gặp:

  1. Prompt bias: câu hỏi dẫn dắt tất cả mẫu về cùng kết luận.
  2. Thiếu diversity: cấu hình gần deterministic tạo năm output gần như bản sao.
  3. Parser bias: rule chuẩn hóa sai, gom hai đáp án khác nhau thành một.

Đồng thuận chỉ là tín hiệu nội bộ. Đáp án thực phải đến từ phép tính, nguồn, test, công cụ hoặc người có thẩm quyền.

c. Câu trả lời mở không có lá phiếu đơn giản

Với câu “hãy tóm tắt tài liệu này”, năm đoạn hiếm khi trùng. Standard Self-Consistency dựa vào answer extraction nên khó áp trực tiếp.

Universal Self-Consistency là biến thể dùng LLM chọn candidate nhất quán nhất trong output tự do; nó không biến mọi thao tác “chọn bản hay nhất” thành majority vote. Với nội dung mở, rubric và human review thường minh bạch hơn. Chen và cộng sự, 2023

d. Rủi ro chi phí tăng theo số mẫu

Năm sample tốn nhiều lượt gọi và token hơn một sample. Nghiên cứu Confidence-Informed Self-Consistency cũng nhắm tới chi phí nhiều reasoning path. Taubenfeld và cộng sự, 2025 Không cần vote khi calculator hoặc database trả lời trực tiếp.

4. Checklist thiết kế Self-Consistency có kiểm soát

Hình 3 — Sample cap, tie rule và verifier phải được chốt trước khi tạo nhiều output.

Trước khi chạy, điền đủ:

  1. Task có final answer hoặc nhãn rõ không?
  2. Input nào phải frozen, tức giữ nguyên mỗi sample?
  3. Tạo diversity bằng cấu hình nào, trong giới hạn nào?
  4. Parser tách answer ra sao?
  5. Bảng normalization có những nhãn nào?
  6. Bao nhiêu phiếu là thắng; hòa thì làm gì?
  7. Sample cap là tối đa bao nhiêu mẫu?
  8. Verifier nào kiểm kết quả bằng dữ kiện ngoài vote?
  9. Khi nào abstain và chuyển human gate?
  10. Log nào lưu raw output, nhãn chuẩn và quyết định?

Verifier là rule, tool hoặc người kiểm bằng chứng ngoài vote: calculator cho phép tính, test cho code, nguồn chính thức cho dữ kiện thay đổi.

Đừng thần thánh hóa verifier dùng chính LLM. Benchmark REVEAL cho thấy verifier tự động vẫn khó kiểm logic và mâu thuẫn. Jacovi và cộng sự, ACL 2024

Nên đứng ngoài Self-Consistency khi:

  • một nguồn sự thật có thể query trực tiếp;
  • câu trả lời mở không có rule tổng hợp đáng tin;
  • chi phí nhiều sample lớn hơn giá trị quyết định;
  • dữ liệu nhạy cảm không nên được gửi qua nhiều lượt;
  • output có quyền gửi, ghi, chạy tool hoặc giao dịch mà chưa có approval.

5. Bài tập 15 phút: bỏ phiếu cho năm đáp án giả

a. Chuẩn bị

Dùng bảng tính miễn phí hoặc giấy bút. Câu hỏi demo: 6 hộp, mỗi hộp 4 bút, tổng bao nhiêu bút?

  • 3 phút: chép năm raw answer.
  • 3 phút: tách final answer.
  • 3 phút: normalize cách viết tương đương.
  • 3 phút: tally và tính vote share.
  • 3 phút: kiểm bằng phép nhân gốc, ghi accept hoặc abstain.

Không dùng dữ liệu thật hoặc quyền hành động.

b. Mẫu đối chiếu đã điền

Sample Raw answer Nhãn chuẩn Quyết định
A 24 24 Phiếu hợp lệ
B 24 chiếc 24 Phiếu hợp lệ
C 20 20 Phiếu hợp lệ
D đáp án: 24 24 Phiếu hợp lệ
E 28 28 Phiếu hợp lệ

Tally: 24 = 3/5, 20 = 1/5, 28 = 1/5. Verifier tính 6 × 4 = 24, nên accept. Nếu input không rõ số bút mỗi hộp, vote không bù được dữ kiện thiếu; phải abstain.

6. Tổng kết và bài học tiếp theo

a. Năm ý chính

  • Self-Consistency lấy nhiều sample độc lập từ cùng input rồi tổng hợp final answer.
  • Phải extract và chuẩn hóa trước khi đếm majority vote.
  • Vote share đo đồng thuận giữa mẫu, không phải xác suất đáp án đúng.
  • Correlated error có thể khiến nhiều mẫu cùng lặp một lỗi.
  • Sample cap, verifier, abstain và human gate phải được đặt trước khi tự động hóa.

b. Câu hỏi tự kiểm tra

  • Self-Consistency khác Recursive Prompting ở đâu?
  • Vì sao 24 và 24 chiếc phải được normalize?
  • 4/5 phiếu có chứng minh đáp án đúng 80% không?
  • Khi nào nên abstain thay vì lấy thêm mẫu?

c. Gợi ý đáp án

Xem gợi ý câu 1

Self-Consistency lấy nhiều nhánh độc lập từ cùng input; Recursive Prompting đưa state vòng trước sang vòng sau. → xem mục 1.

Xem gợi ý câu 2

Hai cách viết cùng chỉ một đáp án; không normalize sẽ làm phiếu bị tách sai. → xem mục 2.

Xem gợi ý câu 3

Không. 4/5 chỉ là vote share của năm mẫu, chưa phải xác suất đúng đã hiệu chuẩn. → xem mục 2 và 3.

Xem gợi ý câu 4

Abstain khi dữ kiện thiếu, bất đồng cao, parser không chắc hoặc đã chạm sample cap. → xem mục 4.

d. Thuật ngữ cần nhớ

Thuật ngữ Giải thích ngắn
Self-Consistency Lấy nhiều output độc lập rồi tổng hợp đáp án.
Sample Một output riêng từ cùng input.
Sampling Tạo nhiều output thay vì chốt một output.
Normalization Quy cách viết tương đương về cùng nhãn.
Majority vote Chọn nhãn có nhiều phiếu hợp lệ nhất.
Vote share Tỷ lệ phiếu của một nhãn.
Correlated error Nhiều mẫu lặp lỗi do chung nguồn thiên lệch.
Abstain Chưa kết luận thay vì ép chọn.
Verifier Rule, tool hoặc người kiểm bằng chứng ngoài vote.

e. Nguồn tham khảo

f. Học tiếp gì?

Bài trước là Recursive Prompting là gì? #2, nơi output vòng trước được dùng để sửa vòng sau. Bài tiếp theo là Tree of Thoughts là gì? #4: thay vì chỉ lấy nhiều answer rồi vote, ta sẽ xem cách tạo, đánh giá và chọn giữa các nhánh trạng thái.

Nhắc lại: Nội dung chỉ phục vụ mục đích giáo dục. Đồng thuận của nhiều output không thay thế nguồn sự thật, test, quyền tối thiểu hoặc người duyệt trước hành động bên ngoài.