점수를 연결하는 통계적 조절 방법

성태제(2000). 다른 교과의 점수를 연결하는 통계적 조절 방법의 타당성. 교육평가연구, 13(1), 63-99. 

 

다른 내용의 검사 점수를 연결시키는 통계적 조절(statistical moderation) 필요 

  예1) 수행평가 시 각기 다른 과제를 수행하여 얻은 점수 연계

---

 검사점수의 연계(linking)

: 다양한 평가 상황에 의한 다른 검사 점수들을 상호 비교하기 위하여 비교 가능한 검사 점수 체레로 전환 필요 

: 다른 검사 점수를 연계하는 작업 (Linn, 1996)

---

linking 방법

 

1. 동등화(equating) 

 1) 같은 내용을 다른 검사로 측정한 경우 검사 점수를 연계하는 방법

 2) 어느 피험자가 x검사나 y검사 중 어떤 검사를 치러도 차이가 없을 때 x검사와 y검사는 동등화된 것임(Lord, 1977). 

 3) 충족 조건

  -동일 능력 측정: 같은 능력을 측정해야

  -공정성: 2개 검사 중 어떤 검사를 치르더라도 무관해야

  -집단 불변성: 검사점수를 동등화해도 피험자 집단 특성에 변화가 없어야

  -대칭성: 두 검사의 점수가 일대일로 대응되어 있어 어떤 검사를 기준으로 하든 상관없어야 

 4) 유형: 수평동등화(horizontal equating), 수직동등화(vertical equating, carlibration) 

 

 

2. 통계적 조절(statistical moderation) 

 1) 다른 검사의 성취수준을 비교하기 위한 목적으로 개발 (Oxford 대학에서 始) 

 2) 다른 내용에서 얻은 다른 검사 점수를 비교하기 위한 방법(Wilson, 1992)

 3) 목적: 교과의 차이, 학교의 차이, 채점자 차이, 교수과정 차이를 고려하여 특정 검사를 치른 응시자가 

                검사 도구의 성격이나 응시자 집단의 특성에 의해 불이익을 당하는 일을 가능한 줄임

 4) 유형: 조절검사(moderator test) 사용하는 방법, 학생집단의 특성을 고려하는 방벙

 

3. 예측 (prediction, prejection) 

 1) 검사특성과 학생 집단의 특성을 통합시킨 조절 방법 

 2) 두 검사 점수 간의 상관을 이용하여 한 검사의 점수로 다른 검사의 점수를 예측 

     상관이 높을수록 보다 정확하게 예측 가능 

 3) 한계: 학생 집단의 특성에 따라 달라질 수 있고, 예측 과정에 주관이 많이 개입되며, 공정성 증명하기 어려움

 

4. 사회적 조절(social moderation) 

  1) 교사나 평가자가 다른 교과나 다른 평가방법/도구에서 얻은 결과들을 논의 과정을 거쳐 연계시키는 방법

      (합의적 조절, consensus moderation) 

  2) 전문가 집단의 주관적 판단에 따른 합의에 의하여 이루어지므로 논란이 야기될 소지가 있음.