A.5. 믿어도 되는가
MAPE·RMSE·R² 와 결과가 달라지는 조건
얼마나 잘 맞았는지 재는 값들
예측이 실제와 얼마나 맞았는지 다섯 가지로 잽니다. 답변에 함께 나오기도 합니다.
같은 예측을 다섯 방식으로 재 보면
실제 예측 오차
100 95 5
200 210 10
150 148 2
| 지표 | 계산 | 결과 | 뜻 |
|---|---|---|---|
| MSE | (5² + 10² + 2²) ÷ 3 | 43 | 단위가 제곱이라 직관적이지 않음 |
| RMSE | √43 | 6.56 | "평균 6.56 만큼 틀린다" |
| MAE | (5 + 10 + 2) ÷ 3 | 5.67 | "평균 오차 크기" |
| MAPE | (5% + 5% + 1.3%) ÷ 3 | 3.8% | "평균 3.8% 틀린다" |
RMSE 가 MAE 보다 큽니다. 제곱하면서 큰 오차에 더 큰 벌점을 주기 때문입니다. 둘의 차이가 벌어져 있다면 몇 번 크게 틀린 적이 있다는 신호입니다.
R² — 얼마나 설명되나
R² = 0.95 데이터 변동의 95% 를 설명함
R² = 0.50 절반만 설명함
R² = 0.10 거의 도움이 안 됨
| R² | 평가 |
|---|---|
| 0.9 이상 | 매우 좋음 |
| 0.7 ~ 0.9 | 좋음 |
| 0.5 ~ 0.7 | 보통 |
| 0.5 미만 | 개선 필요 — 결과를 참고로만 |
무엇을 볼까
| 알고 싶은 것 | 볼 지표 |
|---|---|
| 다른 지표와 견주기 | MAPE — 퍼센트라 단위가 달라도 비교됩니다 |
| 큰 실수를 피하기 | RMSE — 큰 오차에 벌점이 큽니다 |
| 평균적인 오차 크기 | MAE |
| 추세가 설명되는지 | R² |
MAPE 는 실 제 값이 0 에 가까우면 크게 커집니다. 나누는 값이 작아지기 때문입니다. 트래픽이 거의 없는 새벽 구간에서 MAPE 가 수백 퍼센트로 나와도 놀랄 일이 아닙니다. 그럴 때는 RMSE 를 보십시오.
결과가 달라지는 조건 여섯
다음에 해당하면 결과를 참고로만 보십시오.
① 근거 구간이 짧다
조회 기간이 1시간이라면 몇십 개 점으로 계산한 것입니다. 예측은 특히 짧은 구간에 약합니다.
→ 기간을 넓혀 다시 물어보십시오. 최대 3일입니다.
② 그 구간에 배포나 행사가 있었다
추세가 끊긴 구간을 근거로 삼으면 앞날이 어긋납니다. 이상 탐지에서는 정상인데도 잡힙니다.
→ 그 구간을 피해서 다시 물어보십시오.
③ 수집이 끊긴 구간이 있다
값이 빈 곳이 있으면 계산이 부정확해집니다. 차트에 빈 구간이 보이는지 확인하십시오.
④ 값이 거의 변하지 않는다
늘 같은 값이면 "평소" 와 "다름" 을 가를 기준이 없습니다. 상관도 계산되지 않거나 뜻 없는 값이 나옵니다.
⑤ 지표 조합이 어울리지 않는다
직접 설정 모드는 고른 대로 그대로 실행합니다. 관계없는 둘을 묶어도 숫자는 나옵니다 (305 장).
⑥ 대상이 잘못 잡혔다
되묻는 화면에서 값을 잘못 넣었거나, 같은 이름이 여러 곳에 있을 수 있습니다. 답변에 적힌 대상 이름을 먼저 확인하십시오.
무엇을 얼마나 믿을까
| 결과 | 믿음의 정도 |
|---|---|
| 조회한 값 (지표·표 구조·로그 원문) | 실제로 읽어 온 것 — 높음 |
| 계산 결과 (상관계수·예측선·이상 구간) | 근거 구간에 달림 — 위 여섯을 확인 |
| 해석과 조치 제안 | 참고 — 반드시 확인 |
아래로 갈수록 확인이 필요합니다. 숫자는 근거를 보고, 조치 명령은 실행 전에 검토하십시오.
확인하는 습관 셋
- 답변 위의
CogentAI가 생각한 내용을 펼쳐 봅니다 - 근거로 온 차트와 표가 답과 맞는지 봅니다
- 이상하면 기간을 바꿔 다시 물어봅니다 — 같은 답이 나오면 신뢰가 올라갑니다
그리고 늘 표시되는 문구
화면에 늘 표시되는 주의 문구는 형식적인 것이 아닙니다 (101 장). 조치 명령을 그대로 실행하기 전에 한 번 읽어 보십시오.
다음으로
- 결과 읽는 기준 — 부록: 결과를 읽는 법
- 계산 방법 — 부록: 예측은 이렇게 계산한다 · 부록: 이상 탐지는 이렇게 판정한다 · 부록: 상관은 이렇게 잰다
- 문제 해결 — 잘 안 될 때