Trả lời ngắn: Model là logic tạo output từ input; data là record có nguồn, cấu trúc và thời gian; drift là khác biệt quan sát so với baseline cần review. Drift không tự chứng minh model sai, không dự báo giá, không tự ra lệnh retrain và không cho phép giao dịch.

Đọc xong, bạn sẽ hiểu:

  • Vì sao model, data, baseline và drift phải được ghi như các phần riêng.
  • Alert có thể nói gì, và điều gì alert chưa thể kết luận.
  • Cách lập Drift Note 15 phút bằng dữ liệu giả, không chạy model hay dùng tiền thật.

Lưu ý giáo dục: Đây là bài giải thích cách review một hệ thống AI, không phải tín hiệu giao dịch, lời khuyên đầu tư hay hướng dẫn triển khai cloud. Khi source, schema, window, label hoặc owner chưa rõ, status an toàn là Chưa đủ evidence, Cần review hoặc Dừng.

1. Model, data và drift là ba đối tượng khác nhau

Một model là logic hoặc phiên bản hàm nhận input rồi tạo output. Nó không phải toàn bộ hệ thống, không tự biết ngữ cảnh ngoài input và không có “ý định”. Data là các record model được phép đọc; mỗi record cần source, schema — cấu trúc/tên/kiểu trường — thời gian và version để người khác đọc lại được.

Baseline là reference được ghi trước để so với current window, tức lô record đang quan sát. Drift là một khác biệt quan sát giữa current window và baseline. Khác biệt mở ra câu hỏi review: “điều gì đổi, evidence nào còn thiếu?” Nó không tự trả lời “model tốt hay xấu”.

Ví dụ đời sống: một máy phân loại thư dùng danh mục đã chốt để tạo nhãn. Phong bì, địa chỉ và ngày nhận là data. Nếu tuần này phong bì đổi định dạng, monitor có thể báo current window khác baseline. Báo đó chưa cho biết máy đã phân sai; người kiểm còn cần xem nguồn, schema và nhãn thực tế.

Ba lỗi dễ gặp là gọi toàn bộ pipeline là model, coi data nhiều hơn luôn tốt hơn, và xem drift là đèn đỏ chắc chắn. Cách gọi đúng giúp giữ ownership: model version xử lý input, record mang evidence, còn owner đọc reason và chọn response.

Hình 1 — Model tạo output từ data theo version; drift chỉ mở Review Note để owner đối chiếu, không tự biến alert thành kết luận.

2. Một Drift Note cần baseline, window và evidence

Một Drift Note dễ đọc có thể đi theo flow: ghi model version → ghi baseline/reference → ghi current window → kiểm source/schema/missing field → so input hoặc output → nếu có nhãn thực tế thì mới đối chiếu performance → log limitation, owner và status. Đây là phiếu evidence, không phải recipe deploy.

Data quality là kiểm tra record có thiếu trường, sai kiểu hoặc ra ngoài phạm vi đã nêu không. Data lineage là dấu vết source, snapshot và thay đổi của data trên đường tới note. Hai phần này quan trọng vì một alert có thể chỉ nói pipeline nhận thiếu timestamp, chứ chưa nói gì về model.

Azure Model Monitoring là ví dụ capability vendor: nó phân biệt data drift ở input, prediction drift ở output, data quality và model performance khi có ground truth, tức nhãn/kết quả thực tế để đối chiếu output. Bài này chỉ mượn cách tách vai; không dùng bất kỳ metric, score hay threshold nào của vendor. Azure Machine Learning model monitoring

Case giả: Model v1 đọc 20 record demo làm baseline. Current window có ba record thiếu timestamp. Note nên ghi data-quality alert, source của window và limitation: chưa biết data thiếu vì nguồn đổi hay vì bước nhập lỗi. Note không được đổi thành “model yếu”, không gọi API và không tự retrain.

Hình 2 — Drift Note giữ baseline, window và evidence trong cùng flow; thiếu source hoặc schema là lý do dừng trước khi diễn giải model.

3. Drift là tín hiệu review, không phải lời tiên tri

Data drift là input distribution, format hoặc context khác reference. Prediction drift là output distribution khác reference. Hai tín hiệu này không tự đo performance; performance cần ground truth. Nếu label thực tế về muộn hoặc không có, câu đúng là “chưa đủ evidence”, không phải tự gán accuracy.

Training-serving skew là khác biệt giữa data hoặc pipeline khi training và khi serving. Google Cloud nêu skew có thể đến từ handling khác nhau hoặc dữ liệu đã đổi. Đây là lý do kiểm input/pipeline, không phải bằng chứng universal rằng một model đã hỏng. Google Cloud: training-serving skew

NIST AI RMF Playbook coi thay đổi operational setting, data drift và model drift là những yếu tố khiến việc đánh giá lại metric/control và monitoring trở nên cần thiết. Playbook là hướng dẫn tự nguyện, không phải checklist buộc mọi team làm cùng một bước. NIST AI RMF Playbook — Measure

Quay lại ví dụ thư: baseline có source, schema và timestamp đầy đủ. Current window đổi tên trường hoặc thiếu timestamp. Bạn có thể ghi “khác baseline, owner review data lineage”. Bạn chưa thể nói máy phân sai thư, vì ground truth chưa được người kiểm trả về. Chênh lệch là signal; nguyên nhân và tác động vẫn là câu hỏi.

Hình 3 — Alert, output, label và pipeline trả lời các câu khác nhau; khác baseline không đồng nghĩa model hỏng hoặc performance giảm.

4. Bốn nhầm lẫn làm monitoring thành tự động quá mức

Nhầm lẫn đầu tiên là alert drift bằng model failure. Baseline có thể cũ, current window có thể đổi hợp lệ, hoặc source có thể gửi record khác format. Alert chỉ cho bạn biết nơi cần nhìn kỹ hơn.

Nhầm lẫn thứ hai là output đổi bằng performance giảm. Output chỉ là kết quả model phát ra. Không có ground truth, bạn không biết output mới đúng hơn, sai hơn hay chỉ phản ánh context khác.

Nhầm lẫn thứ ba là data quality pass bằng model đúng. Record đủ trường và đúng kiểu vẫn có thể không đại diện cho bối cảnh mà baseline từng mô tả. Data quality là một gate, không phải giấy chứng nhận.

Nhầm lẫn thứ tư là alert là lệnh retrain hoặc deploy. Monitoring signal cần limitation, tức điều note chưa thể kết luận, cùng owner và review date. NIST/Google/Azure đều là nguồn bối cảnh kỹ thuật; không nguồn nào trong bài này đặt threshold chung hay thay quyền dừng của người review.

Dừng khi baseline không có source, schema thay nhưng không log, window lẫn record cũ/mới, alert không nói signal nào, output không có label mà lại claim accuracy, hoặc action không có owner. Giữ trạng thái Dừng/Cần review giúp nhóm không nhảy từ một khác biệt nhỏ sang kết luận quá lớn.

5. Checklist và Practice Bridge 15 phút: Drift Note

Mở Google Sheets, LibreOffice Calc hoặc giấy. Không đăng nhập broker, không gọi API, không chạy EA/model live, không deploy/retrain và không dùng tiền thật.

  1. Ghi model version và use case: model đang tạo output gì, chưa tạo output gì?
  2. Ghi baseline và current window: reference nào, lô record nào, source/time nào?
  3. Kiểm data contract: schema, missing field và data quality có gì khác?
  4. Gọi tên signal: data drift, prediction drift, hay chỉ một quality issue?
  5. Tìm ground truth: có label thực tế chưa? Chưa có thì ghi limitation.
  6. Ghi owner/reason/status: ai review; Chưa đủ evidence, Cần review hay Dừng?

a. Mẫu đối chiếu đã điền

| Model version | Baseline | Current window | Signal | Điều chưa biết | Status | | --- | --- | --- | --- | --- | | Model v1 giả | 20 record demo có schema | 3 trường thiếu timestamp | Data quality alert | Source record đổi từ đâu? | Dừng | | Model v1 giả | 20 record demo | Schema khác baseline | Data drift | Context có thay đổi? | Cần review | | Model v1 giả | Output reference demo | Output nhóm khác | Prediction drift | Label thực tế chưa về | Chưa đủ evidence |

Sau 15 phút, bạn phải chỉ được field nào thuộc model, data, baseline và signal. Một Drift Note tốt không cố trả lời mọi thứ; nó giữ rõ điều chưa biết để owner có thể review lại.

Hình 4 — Drift Note dùng mock data để giữ model, baseline, signal và limitation cạnh nhau; alert không phải retrain hay lệnh.

6. Tổng kết: drift là tín hiệu review, không là phán quyết

a. Năm ý chính

  • Model là version logic tạo output từ input; data là record có source/schema/time.
  • Baseline và current window làm so sánh có ngữ cảnh; khác biệt chỉ mở câu hỏi.
  • Data drift, prediction drift, data quality và performance không phải một thứ.
  • Ground truth cần thiết khi muốn nói về performance; thiếu label thì thừa nhận limitation.
  • Owner, reason và status Chưa đủ evidence, Cần review hoặc Dừng giữ monitor khỏi thành hành động tự động.

b. Câu hỏi tự kiểm tra

  • Drift khác model failure ở điểm nào?
  • Vì sao output đổi chưa chứng minh performance giảm?
  • Data quality pass còn thiếu điều gì để kết luận model đúng?
  • Training-serving skew nên mở câu hỏi review nào?

c. Gợi ý đáp án

Xem gợi ý câu 1

Drift là khác biệt so baseline cần review; nó chưa cho biết nguyên nhân hoặc model tốt/xấu. Xem mục 1 và 3.

Xem gợi ý câu 2

Performance cần ground truth. Output thay đổi có thể đến từ context, input hoặc pipeline và chưa đủ để đo đúng/sai. Xem mục 3.

Xem gợi ý câu 3

Quality chỉ kiểm missing/type/range; bạn vẫn cần baseline, context, output và nếu cần, label thực tế. Xem mục 2 và 4.

Xem gợi ý câu 4

Nó mở việc kiểm data/pipeline giữa training và serving, không tự kết luận model hỏng hay phải retrain. Xem mục 3.

d. Thuật ngữ cần nhớ

Thuật ngữ Giải thích ngắn
Model Logic/version nhận input và tạo output.
Data Record có source, schema, time và version.
Baseline Reference ghi trước để so current window.
Drift Khác biệt quan sát so baseline.
Data drift Input khác reference về format, context hoặc distribution.
Prediction drift Output khác reference.
Data quality Kiểm missing, type hoặc range của record.
Ground truth Nhãn/kết quả thực tế để đối chiếu output.
Training-serving skew Data/pipeline training khác serving.
Limitation Điều note chưa thể kết luận.

e. Nguồn tham khảo

Bài trước là Backtest, Walk-forward và Monte Carlo Review #4, nơi ba phép hỏi evidence được tách riêng. Bài tiếp theo là Systematic Trader Diagnostic Assessment #6, để tự rà mức sẵn sàng của rule, data, risk và operation mà không chứng nhận năng lực.

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch. Khi model version, source, schema, baseline, label hoặc owner chưa rõ, không dùng tiền thật và hãy dừng để kiểm tra.