ISTAT에서 자책점과 투구이닝을 기준으로 한 SPI라는 새로운 지표를 소개하는 글을 읽었다.
[링크] 최고투수 이렇게 뽑자!이 분의 말씀에 의하면 자책점에 양의 제곱근(root)을 취하고, 그것을 투구이닝으로 나눈 지표, 즉 SPI를 통해 기존의 PR(pitching runs)이나 RSAA(runs saved above average)에서 나타나는 문제점을 보완할 수 있다고 한다.
1이닝당 평균자책점에서 루트를 취한 꼴이라고 생각하면 됨.
실제로 PR과 RSAA는 둘 다 리그의 평균자책점과 특정 투수의 평균자책점을 주로 비교하는 메트릭이므로, 리그 평균수준의 방어율을 기록하는 Inning-eater의 공헌도를 과소평가하는 문제점이 있다. 평균자책점이 4.00인 리그에서 A선수가 100이닝을 던지면서 4.10의 평균자책점을 기록하고, B선수는 200이닝을 던지면서 똑같이 4.10의 평균자책점을 기록했을 때 PR과 RSAA는 모두 A선수의 손을 들어 준다. 이것은 확실히 문제다.
SPI를 사용하면 두 선수의 평균자책점이 같을 때 더 많은 이닝을 던진 선수의 SPI가 더 낮게 나타난다. 즉, SPI는 Inning-eater의 가치를 높게 평가하는 메트릭이다. 사실 이는 당연하다. 자책점에 루트를 씌우지 않고 그냥 투구이닝으로 나누면 어떤 투수가 1이닝을 던지면서 평균적으로 허용하는 자책점을 구할 수 있는데, SPI에서는 자책점에 루트를 씌웠으므로 적은 자책점을 기록한 선수가 가지는 이점이 상대적으로 줄어든다. 반면 많은 자책점을 기록하는 선수의 가치는 상대적으로 높게 평가된다.
여기까지만 보면 SPI는 굉장히 쓸 만한 지표로 보인다. 그러나 위 글을 쓰신 분께는 죄송스럽지만, 동시에 문제점도 꽤 가지고 있는 듯 싶다. 이는 반짝거리는 아이디어를 가지고 기존 지표의 한계점을 극복하기 위해 새로운 통계지표를 모색할 때 나타날 수 있는 함정이기도 하다. 문제는 크게 두 가지다.
첫째로
SPI에는 양의 실수라는 추상적인 기호의 형태로 나타나는 좋은 통계값에 내포되어야 할 언어적 설명력이 부족하다는 점이다. 일반적인 표현을 찾다 보니 괜히 어려운 표현을 쓴 꼴이 되어 버렸지만, 쉽게 말하면 이렇다. 어떤 투수의 평균자책점이 4.00이라는 것은 그 투수가 정규이닝 경기를 완투했을 때 대략 4점 정도를 허용하는 투수라는 뜻이다. 어떤 투수의 RSAA가 10.5라면 그 투수는 같은 이닝을 투구한 리그 평균수준의 투수에 비해 10.5점 정도를 덜 허용한 투수로 볼 수 있다. 어떤 투수의 Win share가 15라면 그 투수는 혼자 힘으로 팀에 5승 정도를 공헌한 셈이다.
그러나 어떤 투수가 4.00의 SPI를 기록했다는 것이 언어적으로 어떠한 의미가 있는지는 분명하지 않다. 또한 4.00의 SPI를 기록한 투수와 3.00의 SPI를 기록한 두 투수가 있을 때, SPI 3.00인 투수가 SPI 4.00인 투수보다 얼마만큼 더 팀의 실점 최소화에 기여했는지도 명징하지 않다. RCAA, RSAA, PR, XR 등 이제는 제법 보편화된 sabermetrics의 지표들은 모두 점수(R)의 형태를 띠고 있다. 야구에서 점수는 경제에서 화폐와도 같기 때문이다. 그러나 SPI의 자책점에는 루트가 씌워져 있다.
둘째는 계량적인 차원의 문제이다. SPI는 자책점의 영향력을 줄이고 많은 투구이닝을 기록한 선수에게 가산점을 주기 위해 자책점에 루트를 씌웠다.
그렇다면 자책점에 세제곱근을 씌우면 어떨까? 자책점 대신 투구이닝을 제곱하면 어떨까? ... 이런 식으로 모종의 거듭제곱을 도입하여 자책점의 크기를 줄이고 투구이닝의 크기를 늘린다면, 얼마든지 많은 이닝을 소화한 투수에게 어드밴티지를 줄 수 있다.
그런데 왜 하필 "양의 제곱근"인가?사실 특정한 야구의 raw stat에 가중치를 부여하는 방식은 sabermetrics에서 일반적으로 사용되는 방법이기도 하다. XR은 단타, 2루타, 삼진, 희생번트, 홈런 등 타석에서 발생하는 거의 모든 이벤트에 특정한 가중치를 곱한다. 정교화된 RC에서도 도루나 루타수에 대한 가중치는 등장한다. OPS의 단점을 보완하기 위해 만들어진 GPA는 출루율에 1.8배의 가중치를 주고 있다.
하지만 이런 임의의 가중치는 모두 통계적인 실증분석을 바탕으로 만들어진 것이다. 귀납적인 metric인 XR이 열 가지가 넘는 서로 다른 가중치를 사용하면서도 연역적인 접근을 취하는 RC보다 통계적인 설명력이 더 높은 이유는 Jim Furtado를 비롯한 Stathead들이 적절한 가중치를 찾기 위해 엄청난 양의 노가다를 했기 때문이다. GPA에서 등장하는 1.8이라는 가중치 또한 기초적인 회귀분석과 편의성을 함께 고려한 결과다.
그러나 SPI가 왜 자책점의 세제곱근이 아닌 그냥 양의 제곱근을 취했는가에 대한 근거는 희박하다. 자책점의 영향력을 그 이상으로 줄이면 상대적으로 적은 이닝(140~150IP)을 효율적으로 투구했던 선수들이 지나치게 불리해져서? 혹은 Inning-eater들의 어드밴티지가 필요 이상으로 커져서? XR이나 GPA처럼 널리 쓰이는 지표와 비교했을 때 SPI의 가중치 선정은
자의적이다. 왜 로그함수가 아닌 무리함수를 택했는지, 가중치를 양의 제곱근으로 정하는 것이 통계적으로 유의미한지는 알 수 없다. 따라서 필연적으로 첫 번째에서 말한 문제, 즉
통계수치의 언어적 설명력이 부족해진다.물론 값 그 자체만으로 뭐라 설명하기 어려움에도 불구하고 널리 쓰이는 지표도 있다. 내가 좋아하는 지표인 EqA가 그렇다. .300의 EqA를 기록한 타자가 .280의 EqA를 기록한 타자보다 얼마나 더 잘 했는가를 점수의 기준에서 명확히 밝히기란 굉장히 어렵다. 그러나 EqA는 통계적으로 높은 설명력을 지닌다. 즉 EqA 공식과 그 과정에서 들어가는 간단한 가중치가 많은 양의 자료에 의해 귀납적으로 상당히 적절함을 인정받았다는 뜻이다.
하지만 안타깝게도, 위 글만으로는 SPI에서 양의 제곱근이 가지는 설득력을 확신할 수 없다. 왜 그냥 루트를 씌워야 하는지, 왜 자책점을 제곱하면 안 되는 것인가에 대한 의문은 끝내 풀리지 않는다는 뜻이다.
결국 이닝의 증가에 따른 자책점의 증가 양상에 대한 유의미한 통계적 분석이 동반되지 않는 한, 어떠한 가중치도 자의적이라는 혐의를 벗을 수는 없다.자의적인 가중치 설정에 의한 설득력의 저하, 그리고 언어적 의미의 감소는 야구통계지표를 모델링함에 있어 항상 따라다니는 문제이다. 나 자신도 뭔가 새로운 것을 시도할 때 항상 이 문제를 가장 크게 걱정한다. 다른 사람들의 지적이나 충고를 받고 폐기처분한 글도 부끄럽지만 적지 않다. 그래서 항상 이런 것들을 생각해야 한다 :
"이 통계는 어떤 언어적 의미를 지니는가?" "이 지표는 야구라는 게임의 원리에 비추어 볼 때 타당한 논리를 가지고 있는가?" "이 지표는 통계적으로 유의한가?"물론 현재 한국사회를 보면 위 SPI 같은 논의의 정밀화는 물론이거니와, 사회문제에 대한 논리적인 접근이나 인과관계를 가장한 미신(myth)에 대한 과학적인 검증조차 거의 이루어지고 있지 않다고 느껴진다.
이런 주장이 한 국가의 주요 신문에 칼럼으로 버젓이 실리는 것을 보면.
