Backtest là gì trong AI Trading #5

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch.

Trả lời ngắn: Backtest trong AI Trading là việc cho hệ thống chạy trên dữ liệu quá khứ theo bộ quy tắc đã khóa, nhằm xem nó từng phản ứng ra sao. Đây là một phép thử giả định để tìm lỗi và đo rủi ro, không phải lợi nhuận thật hay lời hứa cho tương lai.

Đọc xong, bạn sẽ hiểu:

• Vì sao dòng thời gian của một backtest chỉ được đi về phía trước.
• Cách đọc kết quả sau phí, thay vì chỉ nhìn đường lợi nhuận đẹp.
• Sáu điểm cần kiểm tra trước khi tin hoặc loại một báo cáo backtest.

1. Backtest là phòng thử, không phải cỗ máy thời gian

Hãy hình dung bạn đang thử một công thức bánh. Mẻ cũ giúp phát hiện bột quá nhiều hoặc nhiệt quá cao, nhưng không bảo đảm mẻ ngày mai vẫn ngon vì nguyên liệu và lò nướng có thể đổi.

Backtest cũng vậy. Ta đưa dữ liệu giá cũ vào hệ thống để tạo lệnh — yêu cầu mua hoặc bán theo quy tắc — rồi tính kết quả giả định. Điều đáng hỏi là: quy tắc có nhất quán không, rủi ro nằm ở đâu và kết quả có còn đứng vững khi giả định bớt thuận lợi không?

Trong AI Trading, phép thử phải đi qua năm lớp: Data → Model → Signal → Risk Management → Execution. Dữ liệu có sạch không? Mô hình học phần nào? Rủi ro bị giới hạn ra sao? Giá khớp và chi phí có sát thực tế không?

Vì vậy, AI Trading không đồng nghĩa Trading Bot. Bot có thể tự đặt lệnh bằng quy tắc cố định; mô hình AI lại có thể chỉ tạo tín hiệu cho con người xem. Báo cáo phải nói rõ đang kiểm tra phần nào, không gom mọi thứ thành chữ “AI”.

Hình 1 — Dữ liệu ở ga sau không được quay ngược về để làm đẹp quyết định ở ga trước.

Ủy ban Chứng khoán và Giao dịch Hoa Kỳ lưu ý rằng kết quả backtest là giả định, không phản ánh hiệu suất thực tế; kết quả quá khứ cũng không nhất thiết dự báo tương lai (Investor.gov). Nói gọn: đây là phòng thử, chưa phải giấy chứng nhận hệ thống kiếm được tiền.

2. Dòng thời gian phải đi một chiều

Một bài kiểm tra tử tế cần tách thời gian thành các phần có nhiệm vụ khác nhau:

1. Train: phần dữ liệu dùng để mô hình học hoặc để người phát triển chỉnh tham số. Phần này còn gọi là in-sample.
2. Validate: phần dữ liệu dùng để so sánh các phiên bản và chọn cách cấu hình, nhưng không dùng để báo kết quả cuối.
3. Test: phần dữ liệu được giữ kín khỏi quá trình học và chỉnh. Đây là out-of-sample, nghĩa là “ngoài mẫu”.
4. Forward: chạy tiếp trên dữ liệu xuất hiện sau khi mọi quy tắc đã khóa, thường bằng tài khoản mô phỏng trước.

Ví dụ giả định: dùng dữ liệu 2020–2023 để Train, năm 2024 để Validate, năm 2025 để Test và năm 2026 để Forward. Khi đang giả lập một quyết định vào ngày 15/6/2023, hệ thống chỉ được biết thông tin đã tồn tại đến ngày đó. Báo cáo tài chính công bố tháng sau, danh sách tài sản của cuối năm hay mức giá của ngày mai đều chưa được nhìn thấy.

Quy tắc ấy dễ vỡ. Nếu một cột dữ liệu hôm nay đã được sửa bằng thông tin cuối tháng rồi bị đem về dùng cho ngày đầu tháng, quá khứ trong backtest đang “khôn” hơn người giao dịch thật lúc đó.

Người làm có thể dùng walk-forward: học ở một đoạn, kiểm tra ở đoạn ngay sau, rồi dịch cửa sổ về phía trước và lặp lại. Cách này không tự chữa mọi lỗi; dữ liệu rò rỉ hoặc việc chỉ khoe cấu hình đẹp nhất vẫn làm kết quả sai lệch.

NIST khuyến nghị hệ thống AI nên được kiểm thử trước triển khai, tiếp tục theo dõi khi vận hành, đồng thời ghi lại tập kiểm tra, chỉ số và giới hạn của phép đánh giá (NIST AI RMF Core). Với AI Trading, câu cần nhớ là: thử trước, khóa quy tắc, rồi theo dõi tiếp.

3. Đọc báo cáo sau chi phí bằng một ví dụ số

Giả sử một báo cáo có 1.000 giao dịch và ghi lợi nhuận gộp 12%. Đây chỉ là ví dụ giả định, không phải kết quả của sản phẩm AI79Trading. Người mới thường dừng ngay ở con số 12%, trong khi phần đáng đọc lại nằm phía dưới:

Hình 2 — Kết quả cần được đọc từ lợi nhuận gộp xuống phần còn lại sau các chi phí giả định.

Slippage xảy ra khi hệ thống dự kiến khớp ở giá 100 nhưng thực tế giả định là 100,2. Chênh lệch nhỏ có thể thành lớn khi giao dịch dày, thanh khoản thấp hoặc biến động nhanh.

Báo cáo cần baseline, tức mốc so sánh đơn giản. Nếu hệ thống đạt 5% sau chi phí nhưng nắm giữ đơn giản đạt 8% với rủi ro thấp hơn, con số dương chưa đủ chứng minh mô hình tạo thêm giá trị.

Đừng chỉ hỏi “lãi bao nhiêu?”. Hãy hỏi thêm: mức giảm sâu nhất là bao nhiêu, thời gian nằm dưới đỉnh cũ kéo dài bao lâu, kết quả có phụ thuộc vài giao dịch may mắn không, và khi phí tăng gấp đôi thì hệ thống còn chịu được không. Bài tiếp theo về drawdown sẽ tách riêng phần sụt giảm này.

4. Sáu cách một backtest đẹp giả

Một là data leakage. Thông tin tương lai lọt vào lúc học hoặc quyết định. Nó giống làm đề thi sau khi nhìn đáp án: điểm cao nhưng không đo đúng năng lực.

Hai là overfitting. Mô hình học thuộc nhiễu của dữ liệu cũ. Như chiếc áo chỉ vừa một người trong một tư thế, nó dễ lệch khi hoàn cảnh đổi. Nghiên cứu cho thấy thử nhiều cấu hình có thể tạo kết quả mô phỏng đẹp dù giá trị ngoài mẫu yếu (Bailey và cộng sự).

Ba là cherry-picking. Người làm chạy 200 phiên bản, bỏ 199 bản xấu rồi chỉ trình bày bản thắng. Không có số lần thử và tiêu chí chọn, ta không biết mình đang thấy năng lực hay may mắn.

Bốn là bỏ phí và giả định khớp hoàn hảo. Giao dịch càng nhiều, sai lệch càng lớn. Không có phí, spread hoặc slippage là đang đo thế giới “không ma sát”.

Năm là survivorship bias. Chỉ giữ tài sản còn tồn tại và bỏ những mã đã biến mất khiến quá khứ có vẻ dễ hơn thực tế.

Sáu là thiếu chế độ thị trường. Thử trong giai đoạn tăng mạnh chưa nói được phản ứng khi đi ngang, giảm sâu hoặc thanh khoản co lại. Nhiều năm vẫn có thể chỉ đại diện một hoàn cảnh.

Backtest không mô phỏng hết gián đoạn kết nối, độ trễ, thay đổi quy định và hành vi con người khi thua thật. Kết luận đúng là: phép thử đã loại được một số giả thuyết yếu; phần chưa biết vẫn phải kiểm tra tiếp.

5. Checklist 6 khóa đáng tin

Đọc báo cáo theo thứ tự sau. Nếu khóa đầu chưa đạt, đừng vội nhìn biểu đồ lợi nhuận.

1. Thời gian một chiều: tại mỗi quyết định, dữ liệu có đúng là thông tin đã biết lúc đó không?
2. Dữ liệu tách riêng: Train, Validate và Test có mốc rõ ràng không? Test đã bị dùng để chỉnh lại mô hình chưa?
3. Chi phí đủ gần thực tế: có phí, spread, slippage, giới hạn thanh khoản và giả định giá khớp không?
4. Có baseline: hệ thống được so với cách làm đơn giản trên cùng thời gian và cùng thước đo rủi ro chưa?
5. Có thử ngoài mẫu và đi tiếp: kết quả Test, walk-forward hoặc Forward có được công bố tách khỏi kết quả học không?
6. Có hồ sơ tái lập: phiên bản dữ liệu, mã, tham số, số lần thử và lý do chọn phiên bản có được lưu lại không?

Hình 3 — Sáu khóa đi từ chất lượng dữ liệu đến khả năng chạy lại cùng một phép thử.

Nên đứng ngoài nếu chỉ có ảnh đường vốn mà không có giai đoạn dữ liệu, phí hoặc kết quả ngoài mẫu. Bí mật mã nguồn không phải lý do để giấu phương pháp kiểm tra.

Phải dừng và chạy lại nếu có thông tin tương lai, chỉnh tham số sau Test hoặc bỏ chi phí. Không dùng lại Test cũ như bài thi mới vì người phát triển đã biết nó.

Checklist chỉ đánh giá chất lượng phép thử, không cấp phép dùng tiền thật. Xem thêm AI Trading có hiệu quả không?.

6. Bài tập 15 phút: chấm một phiếu backtest

Mở Google Sheets miễn phí hoặc lấy giấy. Tạo ba cột: Khóa, Bằng chứng, Đánh giá. Dùng dữ liệu giả định dưới đây và chưa giao dịch bằng tiền thật.

Mẫu đã điền để đối chiếu

Làm theo ba bước:

1. Dành 5 phút đánh dấu từng khóa là Đạt, Thiếu hoặc Không biết.
2. Dành 5 phút viết một câu hỏi cần người cung cấp trả lời. Ví dụ: “Phí và slippage sau khi chạy lại làm kết quả thay đổi bao nhiêu?”
3. Dành 5 phút viết kết luận một câu, không dùng từ “chắc chắn”.

Kết luận mẫu: “Chưa đạt để tin vào con số lợi nhuận; báo cáo thiếu Test riêng và chưa tính chi phí. Cần chạy lại rồi mới xem tiếp.” Câu này tốt hơn “hệ thống chắc chắn tệ”, vì ta đang chỉ ra bằng chứng còn thiếu chứ chưa đoán thay dữ liệu.

7. Tổng kết

a. Năm ý chính

• Backtest là phép thử giả định, không phải hiệu suất thật hay cam kết tương lai.
• Dòng thời gian phải đi một chiều: Train → Validate → Test → Forward.
• Kết quả phải được đọc sau phí, slippage và so với baseline phù hợp.
• Leakage, overfitting và cherry-picking có thể tạo ra đường vốn đẹp giả.
• Sáu khóa giúp bạn biết nên xem tiếp, yêu cầu chạy lại hay đứng ngoài.

b. Câu hỏi tự kiểm tra

• Vì sao không được chỉnh mô hình sau khi đã nhìn kết quả Test?
• Một backtest lãi 12% có đủ để gọi là tốt không?
• Khi nào nên dừng và yêu cầu chạy lại phép thử?

c. Gợi ý đáp án

Xem gợi ý câu 1

Vì Test đã không còn là dữ liệu chưa biết; chỉnh theo nó làm kết quả cuối bị thiên lệch. → xem mục 2.

Xem gợi ý câu 2

Chưa đủ; cần trừ chi phí, xem rủi ro và so với baseline trên cùng giai đoạn. → xem mục 3.

Xem gợi ý câu 3

Dừng khi có dữ liệu tương lai, Test bị dùng để chỉnh hoặc chi phí quan trọng bị bỏ qua. → xem mục 5.

d. Thuật ngữ cần nhớ

e. Nguồn tham khảo

• Investor.gov — Performance Claims
• NIST — AI RMF Core, Measure
• NIST — AI Test, Evaluation, Validation and Verification
• Bailey và cộng sự — Pseudo-Mathematics and Financial Charlatanism

Bài tiếp theo sẽ đi sâu vào drawdown: mức sụt giảm từ đỉnh, thời gian phục hồi và vì sao hai hệ thống cùng lợi nhuận có thể mang rủi ro rất khác nhau.

Quay về Hub AI Trading là gì? để đặt backtest vào toàn bộ chuỗi năm lớp.

Chọn đúng bài trong lộ trình

Bài này tập trung vào backtest AI Trading — giải thích kiểm thử lịch sử và điều kiện đáng tin. Nếu bạn cần bức tranh chung trước khi đi sâu, hãy bắt đầu từ AI Trading là gì? Hướng dẫn từ nền tảng đến kiểm định. Các bước liên quan trực tiếp là Backtest khác Forward Test thế nào, Walk-forward Analysis là gì và Data Leakage và Look-ahead Bias.

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch. Mọi thị trường đều có rủi ro mất vốn.