Reinforcement Learning trong Trading #16

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch.

Trả lời ngắn: Reinforcement Learning trong Trading là cách một agent học chuỗi quyết định bằng cách tương tác với môi trường mô phỏng và nhận reward. Agent không tự hiểu mục tiêu kinh doanh: nó tối ưu đúng điểm số được viết. Vì vậy reward, chi phí, dữ liệu và giới hạn an toàn quan trọng không kém thuật toán.

Đọc xong, bạn sẽ hiểu:

• Vòng lặp agent–environment hoạt động như thế nào.
• Vì sao reward dương chưa chứng minh chiến lược tốt.
• Khi nào environment chưa đủ thật để train agent.

1. Reinforcement Learning trong Trading là gì?

a. Học từ chuỗi quyết định

Reinforcement Learning (RL), hay học tăng cường, là cách một agent học lựa chọn hành động qua nhiều bước. Agent là bộ phận chọn việc cần làm. Nó quan sát state — thông tin có tại một thời điểm — rồi chọn action trong danh sách được phép.

Environment nhận action, chuyển sang trạng thái kế tiếp và trả reward, tức điểm số. Policy là quy tắc hoặc model ánh xạ state sang action. Theo Sutton và Barto, agent và environment tương tác từng bước; reward giúp agent điều chỉnh lựa chọn sau đó.

Ví dụ giả định: state gồm lợi suất, volatility và vị thế; action -1, 0, +1. Environment cập nhật giá, phí, equity rồi trả reward. Đây là học quyết định tuần tự, không phải máy tiên tri giá.

b. RL khác supervised learning ở đâu?

Trong supervised learning, mỗi ví dụ thường có input và label: model học ánh xạ từ dữ liệu sang đáp án đã định nghĩa. RL không nhận sẵn “action đúng” ở mỗi bước. Agent thử hành động, nhận hậu quả rồi học cách tối đa tổng reward về sau.

Action hiện tại có thể ảnh hưởng state tiếp theo. Mở vị thế hôm nay làm đổi exposure, chi phí và lựa chọn ngày mai. Feedback cũng có thể đến trễ.

Hình 1 — Agent học từ điểm mà environment trả về; reward đo sai thì policy cũng học sai.

c. RL không đồng nghĩa bot live

Một agent được train trong simulator vẫn chỉ là model thử nghiệm. Khi triển khai, chuỗi phải là Policy Output → Signal → Risk Gate → Execution. Risk Gate kiểm tra giới hạn vị thế, tổn thất, dữ liệu lỗi và quyền dừng. Không nên cho agent đang exploration tự đặt lệnh bằng tiền thật.

2. Vòng lặp agent–environment hoạt động ra sao?

a. Sáu bước của một lượt tương tác

Vòng lặp cơ bản gồm:

1. Environment đưa state hiện tại cho agent.
2. Policy chọn một action.
3. Environment áp dụng action theo quy tắc timing và khớp lệnh.
4. Environment tính reward sau phí và rủi ro đã định nghĩa.
5. Hệ thống tạo next state, tức state ở bước kế tiếp.
6. Agent dùng transition (state, action, reward, next state) để cập nhật policy.

Một episode là lượt tương tác có điểm đầu/cuối. Ví dụ giả định, episode gồm 250 phiên và dừng khi hết dữ liệu hoặc chạm giới hạn tổn thất. Termination condition phải rõ để không mở kẽ hở.

b. Reward hiện tại và reward tương lai

Agent thường quan tâm tổng reward, không chỉ một bước. Discount factor là hệ số nói reward tương lai được coi trọng bao nhiêu so với reward gần. Hệ số này không phải “mức kiên nhẫn thần kỳ”; nó là lựa chọn thiết kế ảnh hưởng cách policy cân đối hậu quả ngắn và dài hạn.

Thưởng equity từng phút có thể khiến agent phản ứng với nhiễu; chỉ chấm cuối episode lại làm tín hiệu học quá thưa. Reward cần khớp horizon và mục tiêu.

c. Exploration chỉ thuộc môi trường kiểm soát

Exploration là thử action để thu thập thêm kinh nghiệm. Exploitation là dùng action đang được đánh giá tốt nhất. Không exploration thì agent dễ mắc kẹt với điều đã biết; exploration không kiểm soát lại tạo hành vi ngẫu nhiên.

Trong simulator, exploration có thể giới hạn và lặp lại. Khi live, thử ngẫu nhiên có thể gây mất vốn hoặc vượt risk limit. Policy triển khai phải qua validation, risk gate và kill switch.

3. Reward viết luật chơi cho agent

a. Ba cách chấm, ba kiểu hành vi

Reward chỉ bằng raw PnL nghe hợp lý nhưng bỏ qua cách tạo PnL. Nếu simulator không tính chi phí và giới hạn vị thế, agent có thể giao dịch dày hoặc phóng exposure. Reward sau phí tốt hơn, nhưng vẫn có thể bỏ qua drawdown và tail risk.

Một reward giả định đầy đủ hơn có thể bắt đầu từ thay đổi equity sau transaction cost, rồi trừ penalty cho turnover hoặc rủi ro vượt ngưỡng. Đây gọi là reward shaping: bổ sung thành phần để điểm số phản ánh mục tiêu thật hơn. Không có một công thức thắng mọi bài toán; mỗi thành phần đều có tác dụng phụ.

Hình 2 — Reward không chỉ chấm kết quả; nó định hình hành vi mà agent lặp lại.

b. Reward hacking: tối ưu đúng công thức, sai ý định

Reward hacking là khi agent khai thác kẽ hở của metric. Giống học sinh được thưởng theo số trang nên viết chữ thật to: em ấy tối ưu điểm được chấm, không tối ưu kiến thức.

Nếu penalty phí quá mạnh, agent có thể học “không giao dịch” để tránh mất điểm. Nếu penalty drawdown chỉ tính cuối ngày, agent có thể chịu exposure lớn trong ngày rồi đóng trước lúc chấm. Đây không phải agent gian lận có ý thức; đặc tả đã mở đường cho hành vi đó.

c. Checklist trước khi chấp nhận reward

Hãy hỏi theo thứ tự:

• Reward đo PnL trước hay sau phí, slippage và funding?
• Có giới hạn vị thế, turnover, drawdown và exposure không?
• Timing nào dùng để quyết định và timing nào dùng để khớp?
• Agent có thể nhận điểm tốt bằng cách đứng yên hoặc kết thúc episode sớm không?
• Kết quả có hơn baseline ngoài mẫu và sau cùng cost model không?
• Stop rule nào dừng training hoặc deployment khi hành vi lệch mục tiêu?

Không trả lời được các câu này thì chưa nên tăng độ phức tạp của thuật toán.

4. Vì sao RL đẹp trong simulator nhưng yếu ngoài thị trường?

a. Environment không phải thị trường thật

Simulator gap là chênh lệch giữa mô phỏng và thực tế. Simulator có thể khớp toàn bộ lệnh tại giá nhìn thấy, trong khi live có slippage — giá khớp lệch giá dự kiến — và market impact — chính lệnh làm thay đổi giá hoặc thanh khoản. Transaction cost cố định cũng không mô tả hết spread, funding và giới hạn sàn.

Nghiên cứu của Hirsa và cộng sự ghi rõ kết quả còn sơ bộ. Thành tích trong một environment không chứng minh agent hoạt động ở mọi tài sản hoặc giai đoạn.

b. Bảy lỗi thường gặp

1. Simulator bỏ phí, slippage hoặc market impact.
2. State chứa dữ liệu chưa có tại thời điểm action, tạo leakage.
3. Action được khớp tại chính giá dùng để quyết định.
4. Các sample thời gian chồng lấn bị xem như độc lập.
5. Reward khuyến khích turnover, exposure hoặc no-trade ngoài ý muốn.
6. Exploration trong training bị mang nguyên sang live.
7. Thị trường đổi chế độ nhưng policy không được giám sát.

Điểm thứ bảy là non-stationarity: quan hệ trong dữ liệu thay đổi theo thời gian. Agent đã học trong một giai đoạn không tự động thích nghi an toàn với chế độ mới.

c. Baseline và bằng chứng ngoài mẫu

RL phải được so với baseline đơn giản trên cùng dữ liệu, thời gian, phí và giới hạn rủi ro. Nếu rule giữ vị thế cố định hoặc chiến lược đơn giản đạt kết quả tương đương, độ phức tạp của agent chưa được chứng minh.

Tách train, validation và test theo thời gian; kiểm tra hành vi, turnover, drawdown chứ không chỉ tổng reward. Kết quả simulator vẫn cần paper trading và giám sát.

5. Bài tập 15 phút: điền RL Environment Card

a. Tạo thẻ trên Google Sheets hoặc giấy

Tạo các dòng: objective, state, action space, reward, costs, transition timing, episode, termination, exploration rule, baseline, safety gate, success rule và stop rule. Dùng dữ liệu giả định; không API, không code và chưa dùng tiền thật.

Viết objective bằng ngôn ngữ đời thường trước, rồi mới viết reward. Nếu hai câu không cùng ý, reward chưa đạt. Ô chưa biết ghi unknown; đừng bù bằng thuật toán phức tạp.

b. Mẫu đối chiếu

Hình 3 — Environment chưa mô phỏng được phí, timing và rủi ro thì chưa nên train agent.

c. Kết quả đúng có thể là “chưa làm”

Trong mẫu trên, thiếu slippage, market impact và baseline. Kết luận hợp lý là sửa environment, không phải chọn DQN hay PPO. Bài tập thành công khi bạn biết chính xác điều gì còn thiếu và stop rule nào ngăn agent đi xa hơn.

6. Tổng kết

a. Năm ý chính

• RL học chuỗi quyết định từ reward trong environment.
• Agent tối ưu điểm được viết, không tự hiểu mục tiêu thật.
• Reward, timing, cost model và termination định hình hành vi.
• Simulator gap, leakage, exploration và regime change có thể làm kết quả live khác xa lab.
• Policy output vẫn phải qua Signal, Risk Gate và Execution.

b. Câu hỏi tự kiểm tra

• RL khác supervised learning ở điểm nào?
• Reward dương có đủ chứng minh một policy tốt không?
• Vì sao exploration không nên được mang nguyên sang live?
• RL Environment Card kết luận gì khi chưa có cost model và baseline?

c. Gợi ý đáp án

Xem gợi ý câu 1

RL học action qua tương tác và reward theo chuỗi; supervised learning thường học từ input–label. Xem mục 1.

Xem gợi ý câu 2

Không. Reward có thể đo thiếu phí, rủi ro hoặc mở kẽ hở cho hành vi sai mục đích. Xem mục 3.

Xem gợi ý câu 3

Exploration cố ý thử action chưa chắc chắn; bằng tiền thật, nó có thể gây tổn thất ngoài giới hạn. Xem mục 2.

Xem gợi ý câu 4

Chưa train agent; hoàn thiện environment và chạy baseline trước. Xem mục 5.

d. Thuật ngữ cần nhớ

e. Nguồn tham khảo

• Sutton & Barto — Reinforcement Learning: An Introduction
• Gymnasium — Basic Usage
• Zhang, Zohren & Roberts — Deep Reinforcement Learning for Trading
• Hirsa và cộng sự — Deep Reinforcement Learning on a Multi-Asset Environment for Trading
• Deep Reinforcement Learning for Trading — A Critical Survey

Đọc lại Machine Learning trong Trading, Deep Learning trong Trading và NLP trong AI Trading. Tiếp theo, xem AI Agent và Agentic Trading để tách LLM/tool agent khỏi RL agent, hoặc quay về AI Trading là gì?.

Chọn đúng bài trong lộ trình

Bài này tập trung vào reinforcement learning trong trading — agent–environment–reward và khoảng cách simulator/live. Nếu bạn cần bức tranh chung trước khi đi sâu, hãy bắt đầu từ AI Trading là gì? Hướng dẫn từ nền tảng đến kiểm định. Các bước liên quan trực tiếp là Machine Learning trong Trading, AI Agent và Agentic Trading và Overfitting trong Trading.

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch. Mọi thị trường đều có rủi ro mất vốn.