R-squared là gì? R² cao chưa chắc mô hình tốt #35

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch.

Trả lời ngắn: Hệ số xác định (R-squared, R²) cho biết mô hình làm giảm bao nhiêu phần tổng biến thiên bình phương của Y quanh mức trung bình, trong dữ liệu đang được đánh giá. R² bằng 0,99 không có nghĩa mô hình dự báo đúng 99%, chứng minh nhân quả hay bảo đảm kết quả tương lai.

Đọc xong, bạn sẽ hiểu:

• Đọc R² bằng một mức nền rõ ràng thay vì gọi nó là độ chính xác.
• Tự tính SST, SSE, SSR và R² từ tám dòng dữ liệu giả định.
• Nhận ra khi R² cao vẫn chưa đủ để tin hoặc chọn mô hình.

Linear Regression #33 dựng đường ước lượng; Multiple Regression #34 thêm nhiều biến. Bài này hỏi đường ấy giảm bao nhiêu sai số so với việc luôn đoán trung bình.

1. R² là gì? So mô hình với việc luôn đoán trung bình

Giả sử cần ước lượng thời gian giao hàng. Một cách luôn nói “30 phút”, là trung bình lịch sử; cách kia dùng quãng đường. R² so tổng sai số bình phương của hai cách trên cùng các chuyến.

Mức nền trung bình luôn dự báo ȳ, trung bình của Y trong phạm vi đánh giá. Biến thiên là mức Y trải quanh ȳ; khoảng cách được bình phương để dấu âm và dương không triệt tiêu. Không giảm được sai số thì R² bằng 0; khớp mọi Y thì bằng 1. Với hồi quy có hệ số chặn được đánh giá trong mẫu, R² thường nằm từ 0 đến 1.

Hình 1 — R² đo phần sai số bình phương mô hình làm giảm trong mẫu, không đo xác suất dự báo đúng.

R²=0,80 nghĩa mô hình làm giảm 80% tổng biến thiên bình phương quanh trung bình trong dữ liệu được đánh giá. Nó không nói 80% dự báo “đúng” hay X gây ra 80% thay đổi. Nếu tính trên dữ liệu dùng để khớp, R² chỉ tóm tắt độ khớp trong mẫu.

2. Ba tổng bình phương tạo R² như thế nào?

Gọi yᵢ là Y quan sát, ȳ là trung bình Y, ŷᵢ là giá trị mô hình ước lượng và Σ là cộng qua mọi hàng.

SST là tổng biến thiên bình phương quanh trung bình:

SST = Σ(yᵢ − ȳ)²

Đây là “ngân sách sai số” của mức nền luôn đoán ȳ. SSE là tổng bình phương sai số mô hình còn để lại:

SSE = Σ(yᵢ − ŷᵢ)²

SSR là phần biến thiên mô hình làm giảm trong phép phân rã:

SSR = Σ(ŷᵢ − ȳ)²

Với hồi quy bình phương tối thiểu có hệ số chặn, tính trên đúng mẫu đã khớp:

SST = SSR + SSE

Do đó có hai cách viết tương đương:

R² = SSR / SST = 1 − SSE / SST

Penn State trình bày phép phân rã và hai công thức cho mô hình có hệ số chặn (STAT 501 — Coefficient of Determination). Nếu bỏ hệ số chặn hoặc đổi quy ước, cách đọc có thể đổi.

Hình 2 — Cả tử số lẫn mẫu số phải đến từ cùng Y, cùng hàng và cùng phạm vi đánh giá.

Hãy nhớ: SST là toàn bộ sai số của cách đoán trung bình; SSR là phần giảm được; SSE là phần còn lại. Đây là phân rã toán học, không chia nguyên nhân. Nếu mọi Y giống nhau, SST=0 và R² không xác định; đây là điểm dừng, không phải kết quả hoàn hảo.

3. Ví dụ tám kỳ: từ 3,06 đến R²=0,987271

Dùng lại tám cặp giả định của bài #33. Y lần lượt là:

−0,9; −0,1; 0,1; 0,5; 0,8; −0,6; 0,4; 1,0

Trung bình:

ȳ = 0,15

Cộng bình phương khoảng cách từ từng Y đến 0,15:

SST = 3,06

Đường hồi quy ở bài trước để lại:

SSE = 0,0389507087

Phần giảm được là:

SSR = SST − SSE = 3,0210492913

Cuối cùng:

R² = 1 − 0,0389507087 / 3,06 = 0,9872710102

Hình 3 — Số 0,987271 được truy ngược về SST và SSE, nên người đọc kiểm được phạm vi và mẫu số.

Câu đọc đúng: trong tám kỳ giả định, đường hồi quy làm giảm 98,7271% tổng biến thiên bình phương quanh trung bình so với luôn đoán 0,15. “Mô hình đúng 98,7%” sai vì chưa hề định nghĩa một điểm “đúng”.

Trong hồi quy đơn có hệ số chặn, R² bằng bình phương tương quan Pearson giữa X và Y. Hàm RSQ của Google Sheets thực hiện phép tính này (Google Docs Editors Help — RSQ); xem thêm Correlation #31. Với hồi quy đa biến, R² đo độ khớp chung, không bằng bình phương một tương quan cặp.

4. R² cao vẫn có thể đánh lừa: sáu điều không được suy ra

1. Không phải phần trăm dự báo đúng

R² không đếm dự báo nằm trong một biên sai số. Muốn nói độ chính xác, phải nêu thước đo lỗi, chân trời và dữ liệu mới.

2. Không chứng minh nhân quả

Biến bị bỏ sót, chiều tác động ngược và cách chọn mẫu vẫn có thể tạo liên hệ. “Giảm biến thiên” không đồng nghĩa X gây ra phần ấy.

3. Không bảo đảm hình dạng sai số tốt

Sai số còn lại có thể tạo đường cong, phễu, cụm thời gian hoặc điểm cực đoan dù R² cao. Regression Assumptions #36 sẽ kiểm các dấu vết này.

4. Không bảo đảm hoạt động trên dữ liệu mới

Ngoài mẫu là các hàng tách khỏi dữ liệu dùng để khớp. Theo scikit-learn, điểm tốt nhất là 1, luôn đoán trung bình cho 0 và điểm có thể âm khi mô hình tệ hơn mức nền (scikit-learn — r2_score).

Ví dụ ngoài mẫu: y=[1,2,3], ŷ=[3,2,1]. Trung bình Y bằng 2, nên SST=2, còn SSE=8; vì vậy R²=1−8/2=−3. Chữ “squared” trong tên không buộc điểm ngoài mẫu phải dương.

5. Không tự chọn được số biến

Thêm biến cho mô hình thêm khả năng khớp; SSE trong mẫu không thể tăng nếu phép tối ưu và dữ liệu giữ nguyên. Vì vậy R² giữ nguyên hoặc tăng, kể cả khi biến mới ít hữu ích (STAT 501 — Multiple R-squared).

Ví dụ #34: một biến cho R²=0,9568088753; hai biến cho 0,9996509368; thêm cột tùy ý làm nó nhích lên 0,9996874884. R² hiệu chỉnh có phạt số biến và giảm từ 0,9995113115 xuống 0,9994531048. Nó vẫn không thay thế đánh giá trên dữ liệu mới.

6. Không có một ngưỡng “tốt” cho mọi bài toán

Mục tiêu, sai số đo và chân trời khác nhau giữa các lĩnh vực. R² cao vẫn có thể vô dụng nếu đầu vào đến trễ, rò rỉ tương lai hoặc chế độ đổi. Phải so với mục tiêu và mức nền định trước.

5. Danh sách kiểm tra và bài tập Sheets 15 phút

Trước khi dùng một con số R², đi qua tám cổng:

1. Ghi Y, đơn vị, thời gian và các hàng được đánh giá.
2. Xác nhận mô hình có hệ số chặn hay không.
3. Ghi mức nền là luôn đoán ȳ trên phạm vi nào.
4. Kiểm SST và SSE được tính từ cùng các hàng.
5. Đọc R² là độ khớp trong mẫu hay kết quả ngoài mẫu.
6. Xem sai số còn lại theo giá trị khớp và theo thời gian.
7. So độ nhạy khi thêm/bớt biến; kiểm rò rỉ và ngoại suy.
8. Dừng nếu Y hằng, phạm vi mơ hồ, sai số có cấu trúc hoặc chế độ đổi.

Bài tập dùng Google Sheets miễn phí, 15 phút, dữ liệu giả định và chưa dùng cho quyết định tiền thật:

1. Nhập tám Y của #33 vào B2:B9; nhập tám giá trị ŷ từ bài đó vào C2:C9.
2. D2 nhập =B2-AVERAGE($B$2:$B$9); E2 nhập =B2-C2; kéo cả hai xuống hàng 9.
3. =SUMSQ(D2:D9) cho SST=3,06.
4. =SUMSQ(E2:E9) cho SSE=0,0389507087.
5. Tính =1-SSE/SST để nhận 0,9872710102.
6. Nếu A2:A9 chứa X duy nhất của hồi quy đơn, =RSQ(B2:B9,A2:A9) cho cùng kết quả.
7. Ghi lại R² một biến, hai biến và ba biến tùy ý ở mục 4; quan sát R² thường tăng còn R² hiệu chỉnh có thể giảm.
8. Nhập y=[1,2,3], ŷ=[3,2,1] vào bảng riêng để tái tạo R²=−3.

Mẫu đối chiếu đã điền

Thẻ kiểm tra R² buộc con số đi kèm câu hỏi, phạm vi và điều không được suy ra:

Hình 4 — Không đọc R² nếu thiếu mức nền, phạm vi, kiểm tra sai số và điều kiện dừng.

Thẻ không chọn mô hình; nó ngăn con số đẹp đi trước dữ liệu, thời điểm và câu hỏi.

6. Tổng kết và bài tiếp theo

Năm ý chính

• R² so mô hình với cách luôn đoán trung bình Y trên cùng dữ liệu.
• R²=1−SSE/SST; mọi thành phần phải dùng cùng hàng và cùng phạm vi.
• 0,987271 là phần biến thiên bình phương được giảm trong mẫu, không phải 98,7% dự báo đúng.
• R² cao không chứng minh nhân quả, sai số tốt hay khả năng hoạt động trên dữ liệu mới.
• Luôn ghi mức nền, phạm vi, hệ số chặn, kiểm tra sai số và điểm dừng.

Câu hỏi tự kiểm tra

• Vì sao R² bằng 0,90 không có nghĩa mô hình dự báo đúng 90%?
• SST và SSE phải dùng chung những gì?
• Vì sao thêm biến đầu vào có thể làm R² tăng dù biến đó ít hữu ích?
• Khi nào R² có thể âm hoặc không xác định?

Gợi ý đáp án

Xem gợi ý câu 1

R² đo phần biến thiên bình phương giảm được so với mức nền, không đếm dự báo đúng. Xem mục 1.

Xem gợi ý câu 2

Chúng phải dùng cùng Y, cùng hàng và cùng phạm vi đánh giá. Xem mục 2.

Xem gợi ý câu 3

Biến mới thêm khả năng khớp nên SSE trong mẫu không tăng, nhưng khả năng ngoài mẫu chưa chắc tốt hơn. Xem mục 4.

Xem gợi ý câu 4

Điểm ngoài mẫu có thể âm khi tệ hơn mức nền; SST bằng 0 khi Y hằng làm phép chia không xác định. Xem mục 4.

Thuật ngữ cần nhớ

Nguồn tham khảo

• Penn State STAT 501 — Coefficient of Determination
• Penn State STAT 501 — Multiple Linear Regression
• Penn State STAT 501 — Model Building
• Google Docs Editors Help — RSQ
• scikit-learn — r2_score
• NIST/SEMATECH e-Handbook of Statistical Methods

Tiếp tục với Regression Assumptions #36 để kiểm những điều R² không nhìn thấy. Nếu cần quay lại nền tảng, xem Linear Regression #33, Multiple Regression #34 hoặc toàn bộ Quantitative Finance Zero to Hero.

Nội dung này phục vụ mục đích giáo dục, không phải lời khuyên đầu tư hoặc tín hiệu giao dịch. Mọi thị trường đều có rủi ro mất vốn.