항등식과 선형회귀

동료와 이야기하다가 항등식을 선형회귀로 사용하면 안되는가에 대해 얘기한 적이 있어 여기에도 끄적거려볼까 한다.

예컨대 간단한 예를 위해 수입과 수출 항을 무시하고 폐쇄경제이며 정부지출이 없다고 가정하여 다음과 같이 국민총소득으로 정의해보자.

$Y=C+I$

국민총소득 $Y$는 소비 $C$와 투자 $I$의 합이다. 이는 방정식이 아니라 항등식이다. 그렇다면 이를 회귀식으로 대응시켜보자.

$Y_t=\pi_{0}+\pi_{1}C_t+\pi_{2}I_t+\epsilon_t$

우리는 이미 답을 알고 있기 때문에 $\pi_{0}=0$이고 $\pi_{1},\pi_{2}=1$이고 잔차는 모든 $t$에서 $\epsilon_t=0$임을 알고 있다.

그런데 이렇게 예상하는 이유는 우리가 이미 항등식을 통해 그 정의를 통해 모회귀식을 정의했기 때문이지 실제로 저게 저렇게 추정이 안될 수도 있다.

왜냐하면 회귀계수의 추정 방법 때문이다. 다음을 보자.

$\pi_{1}=\frac{Cov(Y_t,C_t)}{Var(C_t)}\\\pi_{2}=\frac{Cov(Y_t,I_t)}{Var(I_t)}$

이렇듯 회귀계수의 추정치는 종속변수와 자신의 상관계수와 연관되어 있음을 눈치챘을 것이다. 그렇다면 항등식이 모든 $t$에서 잘 정의된다 하더라도 $C_t$와 $I_t$가 서로 다른 구성비를 가질 것이라는 점이다. 그렇다면 우리가 미리 알고 있는 항등식의 정의로써 예상하는 1 값이 되려면 다음과 같이 되어야 함을 알 수 있다.

$Cov(Y_t,C_t)=Var(C_t)\\Cov(Y_t,I_t)=Var(I_t)$

모회귀식을 정말 검증하고자 하는게 목적일 경우 회귀식은 이럴 때 아무 도움이 안된다. 그저 구성비가 일정한지 보는 것만으로도 충분할 것이다.

(20/11/23 추가) 실수다.. 구성비의 일정함만으로는 충분하지 않는 것 같다. 이를 검토해보자. $Y_t$가 k% 성장하고 $C_t,I_t$가 $Y_t$에 대한 구성비 $a,b$가 모든 $t$에서 일정하다고 한다면 $Y_t=C_t+I_t=aY_t+bY_t$가 된다. 따라서 $\frac{Y_{t+1}-Y_t}{Y_t}100=\frac{\Delta{Y_t}}{Y_t}100=k%$가 되어 설명변수들 역시 다음과 같이 표현할 수 있다.

$\frac{C_{t+1}+I_{t+1}-C_t-I_t}{Y_t}100\\=\frac{\Delta{C_{t+1}}+\Delta{I_{t+1}}}{Y_t}100\\=\frac{a\Delta{Y_{t+1}}+b\Delta{Y_{t+1}}}{Y_t}100\\=k%$

이로부터 구성비가 1/2로 모두 동일한 경우 외에는 서로 다른 성장률을 갖게 되면 종속변수와 설명변수 각각의 변화율이 다를 수 있다. 그러므로 설명변수의 분산과 종속변수에 대한 상관계수가 동일하지 않을 수 있다. 따라서 일반적인 의미에서... 항등식에 구성비가 일정하다고 해도 실패한 회귀분석이 될 가능성이 오히려 더 희박한 거 아닐까 싶다. 아무튼 이 글에서 문제가 될 상황 자체에 대해서는 검토가 필요하다. 현재까지 내 생각엔 항등식을 선형회귀식으로 나타낼 때 문제가 될 수 있을 가능성이 오히려 더 희박할 거 같다는 생각이다.

언제나 참인 항등식을 회귀식으로 변형하게 되면 전혀 다른 모델이 될 수 있음을 알 수 있다. 미리 알고 있던 모회귀계수의 가정은 결국 설명변수 간의 구성비율이 변동이 없어야 한다는 가정을 해야 한다. 하지만 회귀식으로 나타내면 우리가 미리 정의했던 모회귀식은 우리가 미리 정의했던 그 항등식이 아닐 것이라는 점이다.

다만 만약 구성비율이 일정하다고 하다면 회귀식은 문제를 일으킨다. 이때 어떤 일이 벌어지는가? 바로 "완전 다중공선성" 문제가 초래된다. 예컨대 $X=[1,C,I]$인 데이터셋으로 정의하면

$\pi=(X'X)^{-1}Xy$

로 회귀계수 벡터를 추정할 수 있는데 완전다중공선성이란 설명변수가 다른 설명변수를 1차 함수로 설명할 수 있는 경우를 의미한다. 이 말은 역행렬로 계산해야 할 $(X'X)$에서 그 행렬식이 선형종속이 된다는 것이고 이는 역행렬 계산불능 상태가 되는 것을 알 수 있다.

따라서 항등식을 선형회귀식으로 정의할 때 주의할 사항은 설명변수의 구성비가 같은지 아닌지 먼저 확인해야 한다는 것 정도이다. 그리고 이 구성비가 항상 다르다면 선형회귀 분석은 의미가 없는 것이 아니게 된다. 이로써 잔차를 최소화할 수 있는 회귀계수 추정치 자체는 소비와 투자가 서로 독립이라는 확신이 있다면 그 자체로 의미 있는 추정치가 되는 것이다.

결과적으로 항등식을 회귀할 때 먼저 검토해야 할 문제는 $\frac{C_t}{I_t}$라는 구성비율이 변동이 거의 없다고 한다면 이 회귀식은 그 자체로 실패한 모형이 된다. 하지만... 보통은 그럴 리가 없을 것이다. 실제로 콥-더글라스 생산함수도 항등식이다. 하지만 항등식을 가지고 회귀식으로 대응시키고 있다고 크게 문제를 삼지 않는 이유는 아마도 위와 같은 이유 때문이 아닐까 싶다.

또 다른 문제로 마르크스 경제학의 사례를 보도록 하자. 잘 알려진 $Y=ML$을 생각해보자. 이는 신해석의 MELT를 통해 국민순소득과 총노동시간을 항등식으로 매개한 것이다. 따라서 $M$의 정체는

$M=\frac{Y}{L}$

이를 류동민&이건범&안현효(2014)^[각주:1]처럼 MEV와 VELT로 분해하면

$M=\frac{Y}{V}\frac{V}{L}$

이 된다. 이것은 변수 곱으로 되어 있기 때문에 회귀식으로 만드는게 귀찮다. 간단하게 로그를 취해 분할해보자.

$y=m+l$ (단, $y=lnY,m=lnM,l=lnL$이다)

어찌되었든 이건 항등식이고 결국 위에서 예시를 든 것과 전혀 차이가 없다. 이제 이를 회귀식으로 나타내보자.

(1) $y_t=\beta_0+\beta_{1}m_t+\beta_{2}l_t+e_t$

우리는 앞에서와 같이 정의를 미리 알고 있기 때문에 $\beta_{0}=0$이고 $\beta_{1},\beta_{2}=1$이고 잔차는 모든 $t$에서 $e_t=0$임을 예상할 수 있다. 하지만 회귀계수의 추정치는 다음과 같이 된다.

$Cov(y_t,m_t)=Var(m_t)\\Cov(y_t,l_t)=Var(l_t)$

먼저 두 설명변수의 구성비를 생각해보자. 그러면 $\frac{m}{l}$이고 이는 사실 $\frac{y/l}{l}=\frac{y}{l}\frac{1}{l}=\frac{y}{l^2}$임을 알 수 있다. 이 구성비가 언제나 일정해서 문제가 발생하려면 $y$는 $l$보다 더 빠르고 상당한 량으로 성장해야 한다. 하지만 그런 일은 일어나기 쉽지 않을 것이다. 그러므로 이를 회귀식으로 나타내는데 어떠한 이론적 문제도 일어나지 않는다고 판단된다.

전혀 다른 방식으로 생각해볼 수도 있다. 바로 류동민&이건범&안현효(2014)의 분해식을 떠올려보자. 이것이 항등식에 의한 관계이긴 하지만 좀 더 흥미로운 회귀식을 나타내는 것도 불가능한 건 전혀 아니다. $m_t=lnY_t-lnV_t+lnV_t-lnL_t=lnY_t-lnL_t$이고 따라서 이 회귀식의 추정치는 다음의 식과 같다.

(2) $y_t=\beta_{1}(y_t-v_t)+\beta_{1}v_t+(\beta_{2}-\beta_{1})l_t+e^*_t$

여기서 $(y_t-v_t)$에 있는 $\beta_{1}$과 $v_t$에 있는 $\beta_{1}$은 서로 다르게 추정될 수 있을 것이다. 예컨대 로그 가치 $v_t$의 회귀계수는 이론적인 측면에서 음(-)이 나와야 할 것이다. ($m_t=lnY_t-lnV_t+lnV_t-lnL_t=lnY_t-lnL_t$를 분할했다는 사실을 기억하라) 따라서 연구자는 이 둘을 같게 할 당위성이 없다. 사실 다르게 추정되는 것이 당연하다고 판단해야 하며 그 추정치는 그 나름의 의미를 갖을 것이다. 따라서 최종적으로는

(2)' $y_t=\gamma_{1}(y_t-v_t)+\gamma_{2}v_t+\gamma_{3}l_t+e^*_t$

이로써 항등식이라고 꼭 회귀식으로 정의해서는 안된다는 법은 없다. 이것의 추정치가 유의한지에 대해서는 또 다른 문제일 것이다. 중요한 건 각 설명변수가 종속변수에 대해 설명하는 의미 그 자체가 유용성이 높을 것이라고 나는 생각한다.

[이관 글. 2020/11/22, 3:48 오전 작성]

1. Rieu, Dong Min, Keonbeom Lee, and Hyeon Hyo Ahn. 2014. “The Determination of the Monetary Expression of Concrete Labor Time under the Inconvertible Credit Money System.” Review of Radical Political Economics 46(2):190–98. [본문으로]