통합적 접근에 기반한 학생평가 문항 특성 분석 방안

출처: 박지현, 송미영, 남민우, 최길찬(2021). 통합적 접근에 기반한 학생 평가 문항의 특성 분석 방안 탐색. 교육과정평가연구, 24(1), 101-122.

 

 

학생평가 측면에서 최근 나타나는 특징 

1) 학생평가에서 학생의 학습과정과 현 상태를 진단하고 후속 학습을 지원하는 기능에 주목

2) 학생의 성장을 지원하는 기증 강화

  -교과별 교육과정 성취기준 도달 정도 파악, 학생 성장을 돕기 위한 평가 결과 활용 강조, 서논술형 평가와 수행평가 활성화 방안 마련

  (교육부, 2018; 서울특별시교육청, 2020)

 

평가의 타당도 (validity)

 -평가도구가 의도한 평가목표를 반영하는 정도

 -신뢰도와 함께 질 높은 평가를 위해 필수적으로 갖추어야할 조건 

 -평가 결과의 해석, 추론, 활용의 정확성, 적절성과 직결

 -평가문항이 갖는 다양한 특성은 평가도구의 성격을 규정하고 문항에 대한 학생의 반응에 영향을 미치므로

   평가목적에 부합된 문항이 제작되었는지 면밀히 살펴보아야 

 -평가결과를 학생의 수준에 대한 판단과 성장 지원을 위한 자료로 활용하기 위해서는 평가의 타당도가 전제되어야

 -평가도구의 질점검, 문항특성 분석(feature analysis=FA)

 

문항특성(item feature)

 -문항이 무엇을 어떻게 평가하는지와 관련된 정보를 포괄하는 개념  

 -평가 문항을 통해 측정하고자 하는 인지적 요소, 문항에 제시된 언어/도식/수리적 자료 유형, 문항에 응답하는 방식과 채점 방식 등 내용적 형식적 측면 특성 포함 

 

문항특성분석

 => 평가문항의 특성을 평정하고 이를 평가 결과와 연계하여 살펴봄으로서 평가의 타당도 점검,

       평가도구 및 교수학습 개선을 위한 정보 산출이 가능한 최신 분석기법 

 => 평가목표에 대한 분석을 통해 평가 도구에 포함해야할 문항 특성을 상정한 후, 평가문항의 다양한 특성에 

      대한 질적 평정 및 평정한 특성과 난이도의 관계 등에 대한 양적 분석을 통해 평가의 타당도를 접근하는 통합적 접근법

 

질적접근: 평가 도구를 구성하는 문항이나 과제에 대한 내용적 형식적 특성을 정의/규명하고 각 문항이 어떤 특성을 갖는지 평정/분류

양적접근: 문항특성에 대한 통계분석을 통해 평가도구에서 두드러지는 특성, 사전에 설정한 목표와의 부합정도,

                   각 특성과 관련된 나이도 분포 등을 파악 

 

1단계	2단계	3단계	4단계	5단계
평가 목적의 명료화	문항 특성 규명 및 분석틀 개발	문항의 특성에 대한 정성적 평정	특성 관련 데이터의 정량적 분석	분석 결과 해석 및 활용

 

문항특성분석 기법 관련 국제 연구 동향 

 1)미국  SBA 문항 특성 분석 연구(Madni, et al, 2015)

   -선다형 상호작용 유형이 문항 난이도를 줄이는 가장 핵심적 특성 

   -FA 기법이 향후 검사 개발, 학생평가 문항의 체계적 분석 기법 개발하고, 교육과정 관련 특성 뿐 아니라 다양한 특성을 종합적으로 분석가능함을 밝힘 

 2)대학-직업 준비도 관련 문항 특성 추출하고 대규모 평가 결과 분석(조지민 외, 2018; Baker et al., 2018; Choi et al., 2018)

 3)웹 개발자에게 요구되는 특성이나 교육용 게임 특성 추출 분석 (Choi, 2019; Chung et al, 2018)

 4)교육과정 기반 평가 문항의 국제 비교 연구를 위한 문항 특성 추출, 여러 국가의 학업성취도 평가 문항에 대한 특성 비교(Baker & Choi, 2019)

 

평가문항 특성에 관한 국내 연구 동향 

 1)교과별 교육과정, 교수학습 방법, 평가도구 개선 목적 2) 적정 난이도에 맞추어 평가도구 구성하기 위한 목적