정책(정책평가의 논리와 방법)

[정책평가의 논리와 방법]

1. 정책평가의 논리

- 인과적 추론

정책평가에서는 인과에 대한 관념이 중요하다. 정책이란 정책결정자가 의도한 목적을 달성하고 대상 집단의 행태를 변화시키기 위한 수단이다. 이때 정책 또는 프로그램은 원인 즉, 독립변수가 되며, 정책의 산출물은 결과 즉, 종속변수가 된다. 따라서 정책평가는 정책목표와 수

단 사이의 인과관계에 대해 설정한 가설을 검증하려는 과학적 조사, 연구라고 할 수 있다.

그러나 정책 A가 집행되었고, 목표 B가 달성되었다고 해서 반드시 인과관계가 존재한다고 단정할 수는 없다. 예를 들어 정부가 범죄통제 정책을 집행하고 있는데 어떤 사람이 범죄를 저지르지 않았다고 해서 그것을 정책의 효과로 단정할 수는 없다. 왜냐하면 당초부터 그 사람은 범죄의 의도가 없을 수도 있기 때문이다. 또한 만일 그 사람이 범죄를 저지르려고 했다가 저지되었다고 하더라도 그것이 구속이나 처벌의 가능성 때문인지 아니면 다른 요인들, 즉 동료집단의 영향이나 기회의 결여 때문인지 단정하기 어렵다.

정책의 실시와 정책목표의 달성이 일어났다고 해도 두 사건 간에 인과관계를 단정하기 위해서는 적어도 세 가지 조건이 충족되어야 한다. 첫째, 정책(독립변수)은 목표 달성(종속변수)보다 시간상으로 선행해야 하고(시간적 선행성), 둘째, 그 정책과 목표 달성은 모두 일정한 방향으로 변화해야 하며(공동 변화), 셋째, 그 정책 이외의 다른 요인이 목표 달성에 영향을 미치지 않았음을 입증해야 한다(경쟁 가설 배제 혹은 비 허위적 관계).



-평가의 타당성

정책평가를 통해 평가자는 정책효과에 대한 정확성 및 타당성 높은 정보를 얻고자 한다. 여기서 평가의 타당성이란 측정이나 절차가 그것이 내세운 목표를 제대로 달성했느냐 하는 정도를 의미한다. 실제로 정책의 효과가 있을 때 효과가 있다고 평가하고, 정책의 효과가 없을 때 효과가 없다고 평가할 수 있다면 그 정책평가는 타당성이 높다고 할 수 있다.

정책평가에서의 타당성은 첫째, 처리, 결과, 모집단 및 상황들에 대한 이론적 구성 요소들이 성공적으로 조직화한 정도를 의미하는 '구성적 타당성', 둘째, 만일 정책의 결과가 존재하고 이것이 제대로 조작되었다고 할 때 이에 대한 효과를 찾아낼 만큼 아주 정밀하고 강력하게 연구설계가 이루어진 정도를 의미하는 '통계적 결론의 타당성', 셋째, 특정한 상황에서 얻은 정책평가가 다른 상황에도 그대로 적용될 수 있는 정도, 즉 평가 결과를 일반화할 수 있는 정도를 의미하는 외적 타당성 그리고 넷째, 내적 타당성 등 네 가지로 구분할 수 있다(Coo & Campbell, 1979: 37-94).

이중 내적 타당성은 정책의 효과가 다른 경쟁적 원인보다는 당해 정책에만 기인하는 것이라고 판단할 수 있는 정도를 의미한다. 내적 타당성을 위태롭게 하는 요소들은 외재적인 요소들과 내재적 요소들로 구분되는데, 이들은 개별적 혹은 복합적으로 내적 타당성을 저해할 수 있다. 

외재적인 요소란 실험집단과 통제집단을 구성할 때 선발 요소라고 부르기도 한다. 내재적인 요소들은 정책을 집행하는 동안에 평가 과정에 스며들어 나타나는 변화를 의미하며 역사적 요소, 성숙 효과, 피실험자 상실, 측정 요소, 통계적 회귀, 측정 도구의 변화 등이 있다.



- 평가의 신뢰성

신뢰도는 측정 도구가 어떤 현상을 되풀이해서 측정했을 때 얼마나 일관성 있게 측정할 수 있느냐 하는 정도를 말한다. 다시 말하면 동일한 측정 도구를 반복해서 사용했을 때 동일한 결과를 얻을 확률을 의미하며, 신뢰도에 대한 기준은 평가의 신빙성과 안정성의 측면을 나타내는 것이다. 신뢰도를 측정하는 방법으로는 재검사법, 평행양식법, 반분법 등이 이용된다.



[정책평가의 방법]

- 진 실험적 방법

진 실험적 방법은 실험집단과 통제집단의 동질성을 확보해 행하는 실험적 평가 방법으로 실험실 실험이라고도 한다. 즉 평가 대상을 무작위로 두 집단에 배정해 두 집단의 동질성을 확보한 후 한 집단은 비교를 위해 사용하며(통제집단), 다른 집단(실험집단)에만 일정한 처지를 가한 후 결과변수에서 나타나는 두 집단의 차이를 처치의 효과로 추정한다.

따라서 진실함의 경우 실험집단의 비동질성으로 인한 내적 타당성의 여러 문제를 극복해 주지만, 외적 타당성 및 실행 가능성의 문제가 심각하다. 진실함이 준 실험과 다른 것은 실험집단과 통제집단의 완전한 동질성을 확보한다는 점이다. 실험집단과 통제집단을 서로 동질적인 것으로 구성하기 위해서는 평가 대상들을 두 집단에 무작위적으로, 즉 어떤 대상이 실험집단이나 통제집단에 배정될 확률을 동일하게 하는 조건에서 배정해야 한다.

동질성은 다음 세 가지를 요구한다. 첫째, '동일한 구성'으로 두 집단은 유사한 대상이나 단위들이 혼합되어야 한다. 둘째, '동일한 경험'으로 두 집단은 관찰 기간 동일한 시간과 관련된 과정을 경험해야 한다. 셋째, '동일한 성향'으로 두 집단은 정책에 대해 동등한 경향을 가져야 한다. 즉 자기 선택의 경향이 동일해야 한다.



-준 실험적 방법

진 실험적 방법에서와 같이 실험집단과 통제집단의 동질성을 확보하는, 즉 무작위 배정에 의한 통제에 의해 평가하기 어려운 경우에 준 실험적 방법에 의한 정책평가를 하게 된다. 준 실험적 방법은 무작위 배정 방법이 아닌 짝짓기 방법 등을 사용하여 두 집단이 비 동질적일지라도 잠재적인 혼란 변수나 허위 변수의 측면에서 가능한 한 유사한 실험집단과 비교 집단을 구성하려고 노력한다. 정책평가 연구에서 진실함에 의한 방법이 이상적이기는 하나 여러 가지 문제점 때문에 현실적으로 준 실험이 많이 사용되고 있다. 준 실험적 평가 방법에는 비 동질적 통제집단 설계에 의한 평가, 사후 측정 비교 집단 설계, 회귀 불연속 설계, 그리고 단절적 시계열 설계 등이 있다.



- 비 실험적 방법

비 실험적 방법의 경우 진 실험적 방법 및 준 실험적 방법의 경우와 같이 비교 집단이 구성되지 않는 인과추론 방법이라고 할 수 있다. 사실상 대다수의 정책효과에 대한 평가에서 비 실험적 방법이 많이 활용되고 있다. 통계적 통제에 의한 평가, 인과모형에 의한 평가, 포괄적 통제와 잠재적 통제에 의한 평가 등이 대표적이라고 할 수 있다(노화준, 2004).