문항반응이론을 적용한 창의⋅비판적 사고역량 진단도구 개발 및 타당화 연구
Development and Validation of Creative and Critical Thinking Competency Diagnostic Scale Using Item Response Theory
Article information
Abstract
본 연구 목적은 창의⋅비판적 사고역량을 객관적으로 측정할 수 있는 지필고사 형태의 진단도구를 개발하고 이를 타당화하는데 있다.
연구방법은 사고교육 전문가의 타당도 검증을 거친 톡트(TOCT) 문항 중 I대학 학부생에게 맞게 수정⋅보완한 40문항을 가지고 2021년 1월 예비검사를 거쳐 20개 문항을 최종 확정하였다. 그리고 2021년 10월에는 예비검사에서 개발한 진단도구의 타당성 검증을 위해 기초교양 사고교육영역 ‘논리적 사고’ 교과목 수강자 93명을 대상으로 본검사를 실시하였다. 이 진단도구는 5지선다형 객관식 문항으로 포괄적 이해, 창조적 구성, 합리적 평가, 문제해결 영역으로 구성되어 있다.
본 연구에서는 기술통계량, 상관관계 분석, 신뢰도 분석, 문항반응이론의 2-모수 로지스틱모형을 활용하여 문항별 정답률, 독립성, 신뢰도, 문항특성 등을 살펴보았다. 연구결과는 다음과 같다. 첫째, 연구참여자의 진단평가 평균 점수는 20점 만점에 9.26점으로 낮은 정답률(46.3%)을 보였다. 둘째, 상관관계 분석 결과 포괄적 이해와 문제해결 간, 창조적 구성과 문제해결 간, 창조적 구성과 합리적 평가 간 다소 낮은 양(+)의 상관관계를 보였지만 상관계수가 0.4 미만으로 다중공선성 문제가 없는 것으로 확인되었다. 셋째, 신뢰도 분석 결과 하위영역별 문항난이도가 적절한 문항이 상대적으로 적어 신뢰도가 매우 낮게 나타났다. 넷째, 문항난이도 분석 결과 난이도가 쉬운 문항 8개, 적절한 문항 5개, 어려운 문항 7개로 나타났다. 다섯째, 문항변별도 분석 결과 변별도가 있는 문항 4개, 높은 문항 6개였지만 10개 문항은 변별도가 없는 문항으로 확인되었다. 이러한 연구결과를 토대로 창의⋅비판적 사고역량 진단도구가 지니는 한계점과 제언에 대해 논의하였다.
Trans Abstract
The purpose of this study is to develop and validate a diagnostic scale in the form of a written test from which creative and critical thinking (two key competencies at university) can be objectively measured.
The research method consisted of 40 questions, modified and supplemented to suit the undergraduate students of I University, from the TOCT questionnaire. This survey had been verified for its validity by education professionals. It was used in a preliminary test in January 2021, and narrowed down to 20 questions. Furthermore, in October 2021 the official test was conducted on 93 students enrolled in the ‘Logical Thinking’course for the unit of Thinking Education as a basic subject to verify the validity of the diagnostic scale developed in the preliminary test. This diagnostic scale comprises objective multiple choice questions with 5 possible answers in the areas of comprehensive understanding, creative composition, objective evaluation, and problem-solving. This study used a two-parameter logistic model of descriptive statistics, correlation analysis, reliability analysis, and item response theory to examine the correction rate, independence, reliability and question characteristics.
The results of the study showed the following: First, the average score of the participants in the study displayed a low correction rate (46.3%) of 9.26 out of 20. Second, the result of the correlation analysis displayed a rather low positive (+) correlation analysis between comprehensive understanding and problem-solving between creative composition and problem-solving, as well as between creative composition and objective evaluation. However, the correlation coefficient was less than 0.4, which indicated that there is no multi-collinearity. Third, the result of the reliability analysis displayed a very low reliability due to a relatively small number of questions having a suitable item difficulty in each sub-category. Fourth, the result of the item difficulty analysis displayed 8 easy questions, 5 moderately difficult questions and 7 difficult questions. Fifth, the result of item discrimination analysis showed that there were 4 questions with item discrimination, and 6 questions with high discrimination, whereas 10 questions had no item discrimination. Based on these study results, the limitations and implications inherent in the creative and critical thinking diagnostic scale were discussed.
1. 서론
정보통신(IT) 및 과학 기술의 발전, 그리고 사회 환경의 빠른 변화로 과거에 중요하지 않게 여겼던 역량이 이제는 미래 인재가 갖춰야 할 필수 역량이 되었다.
교육부의 ‘2015 개정 교육과정’도 창의융합형 인재 양성을 위해 핵심역량 함양 교육을 강조하였다(교육부 보도자료, 2015.9.23.). 최근 OECD 2030 프로젝트에서도 2030년에 필요한 역량을 도출하고 어떻게 가르칠 것인지를 제안하고 있다(손유미 외, 2019: 80). 그리고, 4차 산업혁명시대, 미래 인재에게 필요한 역량으로 비판적 사고 능력(Critical Thinking), 창의성(Creativity), 의사소통능력(Communication Skill), 협업 능력(Collaboration) 등 4C가 언급되고 있다(EBS 미래교육 플러스, 2019.7.9.).
이러한 사회적 변화의 흐름에 따라 각 대학은 핵심역량을 갖춘 인재를 양성하기 위해 대학 특성화 및 인재상을 반영한 핵심역량을 설정하고, 교양교육과정을 개선하는 데 많은 노력을 기울이고 있다.
또한, 교양교육 학생성과나 핵심역량 진단도구 개발 연구동향을 보면 대학생 핵심역량 진단도구 개발(박수정, 송영수, 2016; 천호준, 신민, 2018; 차혜경, 전요한, 2020), 대학생 핵심역량 진단도구 개발과 타당화 연구(박영신 외, 2017; 윤지영, 유영림, 2018; 이미라, 김누리, 2018; 강민수, 소미현, 2020; 권순구, 2020; 김화영, 이성원, 정은선, 2020; 이선경, 이희영, 2020; 정혜진, 지은림, 2020; 김윤영, 윤지영, 2021; 김지원 외, 2021), 교양교육 학생성과 평가도구 개발 및 타당화(김동심 외, 2021), 전문대학 학생들을 위한 핵심역량 진단척도 고도화(최선일, 최선영, 2021), 중⋅고등학생 창의핵심역량 진단도구 개발(양미석 외, 2018), 초등 예비교사의 핵심역량 진단도구 개발 및 타당화 연구(손원숙 외, 2021) 등 대상별로 핵심역량 진단도구 개발 및 타당화 연구가 최근 활발히 이루어지고 있다.
대표적인 해외 대학생 핵심역량 평가도구로 대학생의 고차적인 사고능력을 평가하는 미국의 대학학습평가인 CLA(Collegiate Learning Achievement), 국가 수준의 대학입학 및 졸업 단계에서 적용할 수 있는 기초 능력을 평가하는 대학졸업능력 시험인 호주의 GSA(Graduate Skills Assessment)가 있다.
우리나라의 경우는 핵심역량 달성지표를 위해 종합적이고 객관적 평가를 위해 교육부와 한국직업능력개발원이 2007년부터 공동 개발한 K-CESA(Korea Collegiate Essential Skills Assessment)를 활용하여 대학생 핵심역량 진단을 시행하고 있다. 하지만 이 진단도구는 실시하는데 비용과 시간이 많이 소요된다는 점이 단점이다(홍성연 외, 2016: 16; 손유미 외, 2017: 요약ⅳ; 김동심, 이영주, 2020: 36-37; 김화영, 이성원, 정은선, 2020: 124-125).
이러한 단점을 보완하기 위해 최근 대학들이 대학의 특성을 반영한 대학생 핵심역량 진단도구를 개발하고 있다. 하지만 핵심역량 능력 평가라기 보다는 자기보고식 진단도구 개발 연구가 대부분이다. 특히, 학생들의 창의⋅비판적 사고역량을 세부적으로 평가 및 진단할 수 있는 지필고사 형태의 진단도구 개발 연구는 매우 부족한 실정이다.
I대학교도 학부생들에게 중요하게 요구되는 i5C 핵심역량(창의, 융복합, 소통, 협력, 도전)을 2018년 11월에 설정하고, 대학교육혁신처(구. 학부교육혁신처)에서 i5C 핵심역량 진단도구를 개발(2019.1.)하여 매년 재학생을 대상으로 i5C 핵심역량 수준을 진단하고 있다. 하지만 능력평가라기 보다는 자기보고식 설문에 초점이 맞춰져 있어, 재학생을 대상으로 종합적으로 핵심역량을 측정할 수 있는 시험문제 형식의 진단도구를 개발할 필요성이 제기되었다.
이에 본 연구는 미래사회에 필요한 역량 가운데 최근 들어 교육현장에서 사고방법을 가르치는 일에 관심을 가지는 역량인 ‘창의⋅비판적 사고역량’을 객관적으로 측정할 수 있는 지필고사 형태의 진단도구를 개발하여 타당화하는데 연구목적을 두었다.
2. 이론적 배경
2.1. 문항반응이론(Item Response Theroy)
검사이론은 크게 고전검사이론과 문항반응이론으로 구분된다. 문항반응이론은 문항 분석을 검사 총점이 아니라, 문항특성곡선으로 분석하는 검사이론을 의미한다(강순부 외, 2016: 116-117).
문항특성곡선(item characteristic curve)은 문항의 고유한 속성을 나타내는 것으로 능력과 문항에 대해 답을 맞힐 확률과의 관계를 나타내주는 곡선이다(성태제, 2019a: 36; 성태제, 2019b: 17-18). 문항특성곡선의 기술적인 속성에는 문항난이도와 문항변별도가 있다. 문항난이도(item difficulty)는 어떤 문항에 올바르게 응답한 비율로 각 문항의 어렵고 쉬운 정도를 의미한다. 문항의 난이도 범위는 일반적으로 -2에서 +2 사이에 존재하고 있다(강순부 외, 2016: 117). 성태제(2019a: 45)는 문항난이도의 평가기준을 언어적 표현에 따라 매우 쉽다(-2.0 이하), 쉽다(-2.0~ -.5), 중간이다(-.5~+.5), 어렵다(+.5~+2.0), 매우 어렵다(+2.0 이상)의 5단계로 구분하였다. 문항변별도(item discrimination)는 문항이 피험자를 능력에 따라 변별하는 것으로 문항특선곡선의 기울기가 가파를수록 문항변별도가 높은 것을 의미한다. 일반적으로 문항변별도 범위가 -∞에서 +∞지만 음수 값을 지닌 문항은 피험자의 능력이 증가함에 따라 문항의 답을 맞힐 확률이 감소하므로 제거해야 한다(강순부 외, 2016: 118). 성태제(2019a: 49)는 문항변별도의 평가기준을 언어적 표현에 따라 없다(.00), 거의 없다(.01~.34), 낮다(.35~.64), 적절하다(.65~1.34), 높다(1.35~1.69), 매우 높다(1.70 이상), 완벽하다(+∞)의 7단계로 설정하였다.
2.2. 창의⋅비판적 사고역량의 개념
창의⋅비판적 사고역량은 급변하는 현대 사회에서 변화의 흐름을 주도하기 위해 강조하는 핵심역량으로 인식하고 있다.
교육부의 2015 국어과 교육과정에 따르면 비판적⋅창의적 사고역량은 다양한 상황이나 자료, 담화, 글을 주체적인 관점에서 해석하고 평가하여 새롭고 독창적인 의미를 부여하거나 만드는 능력으로 정의하고 있다(교육부, 2015a: 3).
김영정에 따르면 창의성에는 발산적 창의성 외에 수렴적 창의성이 있다고 하면서 수렴적 창의성의 핵심에 비판적 사고 능력이 있다고 주장하였다. 그리고 창의성을 광의적 개념으로 사용했을 때 비판적 사고와 같은 개념으로 사용할 수 있다고 밝히고 있다(최훈, 2010: 16).
따라서, 창의⋅비판적 사고역량은 창의 핵심역량과 관련되어 있는 것으로 본 연구에서는 창의적 사고역량과 비판적 사고역량에 대한 선행연구를 바탕으로 개념을 살펴보고자 한다(정혜진, 지은림, 2020: 514).
2.2.1. 창의적 사고역량
교육부 2015 개정 교육과정을 보면 학교 교육 전 과정을 통해 중점적으로 기르고자 하는 핵심역량의 하나로 창의적 사고역량을 제시하고 있다. 창의적 사고역량은 폭넓은 기초 지식을 바탕으로 다양한 전문 분야의 지식, 기술, 경험을 융합적으로 활용하여 새로운 것을 창출할 수 있는 능력을 의미한다(교육부, 2015b: 2).
조연순 외(2020: 19)는 문제해결의 관점에서 문제를 발견하고 새롭고 독창적인 해결책이나 대안을 찾는데 기여하는 사고 기능으로 설명하였다. AAC&U(2009)는 독창적인 방법으로 기존의 사고, 이미지, 전문 지식을 조합하거나 결합할 수 있는 능력과 혁신, 확산적 사고, 위험감수 등 새로운 방식으로 생각하고 활동하는 능력으로 정의하였다(김은경, 한윤영, 2019: 502).
그리고, 한국교육개발원의 ｢2020 KEDI 학생역량 조사 연구｣는 실생활에서 활용되는 기초능력과 함께 미래사회 창조경제에 갖추어야 할 핵심역량인 창의적 사고역량 요소로 언어적 사고능력(사실적 이해 능력, 추론적 이해 능력, 비판적 이해 능력), 수리적 사고 능력(수 추론 능력, 수리적 의사소통 능력, 수리적 문제해결 능력), 창의적 사고 능력(발산적 사고력, 독창적 유연성, 호기심 및 모험심, 탐구심) 등 3가지 소영역과 10가지 하위 지표들을 포함하고 있다(남궁지영 외, 2016: 13; 권희경 외, 2020: 13). 김영채(2020: 17)는 창의력을 발산적 사고, 수렴적 사고, 커뮤니케이션 및 협동 등 네 가지 요소가 적절하게 교과 수업에 통합되어야 한다고 주장하였다. 신윤선, 이유경(2021: 669)도 창의적 사고역량의 구성요소로 발산적 사고력, 독창적 유연성, 호기심 및 모험심, 탐구심을 들고 있다.
이처럼 창의적 사고역량은 급변하는 21세기 미래사회에 대학생에 있어서 필수적인 역량으로 제기되고 있음을 알 수 있다.
2.2.2. 비판적 사고역량
비판적 사고역량이란 어떤 주장을 받아들일 때 아무 생각 없이 습관적으로 받아들이는 것이 아니라 정당화하는 근거를 가지고 판단하는 능력이다(최훈, 2010: 6-7).
비판적 사고에 대해 폴(Richard Paul, 2006)은 생각을 더 잘하기 위해서 생각하는 동안 생각에 관해 생각하는 사고이며, 생각 분석하기, 생각 평가하기, 생각 개선하기의 세 국면으로 이루어진다고 정의하고 있다.
비판적 사고(critical thinking)는 생각이나 행동에 훌륭한 근거가 있는지를 검토하는 것으로 비판적 사고를 위해 요구되는 역량은 이해 능력, 추론 능력, 분석하고 종합하는 능력, 평가하는 능력으로 구분된다(박준호 외, 2013). 여기서 이해 능력은 글에 나타난 정보를 정확히 파악하는 능력이며, 글에 제시된 주제, 공통 화제, 중심 내용, 논쟁점 등을 파악하는 것이다. 추론 능력은 글에 제시된 정보로부터 새로운 정보를 이끌어 내는 능력으로 주어진 글에서 반드시 따라 나오는 혹은 대개 경우 따라 나오는 새로운 정보 등을 파악하는 것이다. 그리고, 분석 능력은 주어진 문장들을 그 역할에 따라 구분하는 능력을 의미하며, 종합 능력은 분석된 내용들을 새롭게 재구성할 수 있는 능력이다. 마지막으로 평가하는 기술은 주어진 정보로부터 추론될 수 있는 정보들을 분석하고 종합한 것들이 제대로 되었는지 점검하는 능력으로 글의 이해, 추론, 분석/종합이 적절한지 평가하는 것이다.
이처럼 비판적 사고는 대학에서 학문 활동을 하기 위해 반드시 필요하며, 비판적 사고 능력인 이해, 추론, 분석/종합하고 평가하는 기술은 문제를 해결하는 능력을 갖게 한다. 그리고 현대사회는 정보화 사회이기 때문에 많은 정보와 지식이 모두 옳은 것이 아니기 때문에 정보의 옳고 그름을 판단하기 위해서 비판적 사고 능력(역량)이 절실하게 필요하다고 할 수 있다.
2.3. 창의⋅비판적 사고역량 교육 현황
창의⋅비판적 사고역량 교육의 중요성은 지속적으로 강조되어온 주제이다. 미국의 다수 대학들도 전공 선수과목으로 비판적 사고 과목을 이수하도록 하고 있다(홍경남, 서민규, 2010: 42-43). 우리나라는 1986년 한국교육개발원의 ｢사고력 신장을 위한 프로그램 개발 연구｣ 결과가 발표되면서 비판적 사고 교육이 도입되었다. 그리고 2000년대 초부터 공학인증제도 프로그램과 대학 교양교육에서 논리적/비판적 사고, 논리적 글쓰기, 합리적 의사소통교육, 사고와 표현, 비판적 사고와 토론 등 비판적 사고 능력 증진을 위한 여러 교과목으로 개설되어 교육이 이루어지고 있다(방선희, 2011: 62-64). 최근 대학에서는 핵심역량기반으로 교양이수체계를 개편하여 사고력 증진영역, 창의적 문제해결역량영역, 문제해결역량영역, 교양필수영역이나 기초교양영역 등에서 창의⋅비판적 사고역량을 함양하는 교과목을 이수하도록 하고 있다.
2022년 2월 현재 수도권과 부산⋅울산⋅경남권 소재 대학에서 세부 핵심역량으로 비판적 사고를 설정하고 있는 현황을 살펴보면 <표 1>과 같다. 대부분 창의, 창의융합, 창의적 문제해결, 창의적 사고, 비판적 사고, 종합적 사고력, 지식탐구, 혁신, 소통 등 핵심역량에서 세부역량으로 비판적 사고를 제시하고 있다. 비판적 사고역량 정의도 학교의 특성에 따라 ‘사고의 논리성과 판단의 건전성을 기준으로 반성적으로 사고하는 역량’, ‘사회문화적 맥락과 배경 지식을 바탕으로 분석⋅해석⋅정합⋅추론하여 문제를 비평하고 해결할 수 있는 능력’, ‘합리적인 근거를 바탕으로 문제를 분석, 추론, 평가할 수 있는 능력’, ‘편견이나 고정관념, 그릇된 정보에 사로잡히지 않고 수집⋅분석한 정보에 대해 합리적으로 사고할 수 있는 역량’, ‘당면한 문제의 핵심을 파악하기 위해 비판적으로 탐색하고, 다양한 요소 간의 관계를 명확하게 규명하며, 자신의 사고과정과 활동에 대해 올바르게 평가하는 능력’ 등 각기 다양하게 정의되고 있음을 알 수 있다.
대학별 비판적 사고 세부 역량 현황
3. 연구방법
3.1. 연구모형
본 연구를 위하여 문항반응이론의 연구모형은 문항난이도와 문항변별도를 추정하는 2-모수 로지스틱모형을 적용하였다.
3.2. 연구대상
창의⋅비판적 사고역량 진단도구 개발을 위해 I대학교 재학생 대상으로 2021년 1월 12일(화)부터 2021년 1월 21일(목)까지 예비검사 신청자를 모집한 결과 26명이 참여하였다.
그리고, 후속 연구로서 개발한 진단도구의 타당화 검증을 위해 2021학년도 2학기에 기초교양 사고교육영역에서 ‘논리적 사고’ 교과목을 수강하고 있는 학생 전체(134명)를 대상으로 2021년 10월 5일(화)부터 2021년 10월 13일(수)까지 실시한 결과 <표 2>와 같이 93명이 참여하였다. 연구 대상자 중 4학년 학생이 없는 이유는 ‘논리적 사고’가 기초교육 사고교육영역에서 1학년이 필수적으로 이수해야 하는 교과목으로 해당 학기 수강자가 없었기 때문이다.
본검사 연구참여자의 인구통계학적 특성 (단위 : 명, 점)
3.3. 창의⋅비판역량 진단도구 구성
I대학교의 i5C 핵심역량 가운데 창의(Creativity)는 삶의 과정에서 당면하는 과제를 열린 마음으로 새롭고 다양한 관점에서 바라보고 비판적⋅분석적으로 해결해 나가는 역량을 말한다. 그리고 I대학교의 창의역량은 수렴적 사고인 비판적 사고력을 기반으로 대안 제시 능력에서의 창의성으로 요약할 수 있다. 따라서, 본 연구에서는 창의⋅비판역량을 창의의 광의 개념으로 보고 비판적 사고와 같은 개념으로 사용하고자 한다. 즉 문제해결과 대안을 제시하는 포괄적이고 창조적인 폭넓은 사고라고 할 수 있다.
창의⋅비판역량 진단도구는 지식기반사회에서 학문활동이나 직무 수행에 필요한 핵심역량인 비판적 사고력을 측정하기 위해 국내 최초로 개발한 검사도구인 톡트(TOCT: Test of Critical Thinking) 문항을 활용하였다. 톡트는 총 110분 동안 4개 평가영역(포괄적 이해 능력, 창조적 구성 능력, 합리적 평가 능력, 전략적 사고 능력)에 객관식 60문항을 풀도록 되어 있다(홍경남, 서민규, 2010: 46).
예비검사 창의⋅비판적 사고역량 진단도구 문항은 사고교육 전문가들의 타당도 검증을 거친 톡트 문항 중에서 연구진이 Ⅰ대학교 학부생에게 맞게 문항을 수정, 보완하여 총40문항을 구성하였다.1)
그리고 예비검사 시행한 후 연구진의 문항검토를 통해 본검사에 활용할 창의⋅비판적 사고역량 진단 도구로 20개 문항을 최종 확정하였고, 문항형태는 5지선다형 객관식 문항이었다. 진단도구의 하위영역별 내용 및 문항 수는 <표 3>과 같다.
창의⋅비판적 사고역량 진단도구 구성 내용
본검사지(예비검사지)는 창의⋅비판적 사고력의 포괄적 이해, 창조적 구성, 합리적 평가, 문제해결 능력을 측정하도록 영역별 5개(10개) 과제방식으로 각 5문항(10문항)씩 배열하였다.2)
3.4. 창의⋅비판적 사고역량 진단도구 평가기준
문항반응이론에서 문항난이도와 문항변별도를 평가하는 기준은 절대적인 기준이 없다. 따라서 본 연구에서는 Cangelosi(1990), 강순부 외(2016: 120), 성태제(2019a: 43, 49) 선행연구에서 사용된 평가기준을 수정⋅보완하여 <표 4>와 같이 3개의 구간으로 분류하였다.
연구분석에 사용된 문항 평가기준
3.5. 연구절차 및 분석방법
I대학교 학생들의 사고교육이 창의⋅비판적 사고력을 얼마만큼 함양하는지 측정하기 위한 본 연구의 진행절차는 <표 5>와 같다. 2020학년도 2학기에 1차적으로 예비검사 진단도구로 각 영역별로 5지선다형 10문항씩 40문항을 구성하였다. 2021년 1월 예비검사 실시 후 문항반응이론을 적용하여 문항난이도와 변별도 검증을 통해 I대학교 학생들에게 맞는 진단도구로 5지선다형 5문항씩 20문항을 개발하였다. 이후 2021학년도 2학기에 기초교양 사고교육영역 ‘논리적 사고’ 교과목 수강자 대상으로 본검사를 실시하여 타당화 연구를 진행하였다.
본 연구의 진행절차
예비검사는 2021년 1월 25일부터 2월 5일 사이에 지필고사 형태로 90분간 진행하였다. 그리고 본검사는 2021년 10월 5일부터 10월 13일 사이에 네이버 오피스 폼을 활용하여 온라인으로 45분간 실시하였다.
문항 특성 분석과 피험자 능력을 추정하기 위해 기술통계량, 상관관계 분석, 신뢰도 분석을 실시하고, 문항반응이론의 2-모수 로지스틱 모형을 적용하여 문항별 난이도와 변별도를 산출하였다. 그리고 문항 모수추정은 R Package SPSS Statistics 26 KoreaPlus 프로그램을 활용하였다.
4. 연구결과
4.1. 연구대상별 총점 분포와 정답률
본검사 총점은 20점으로 각 문항을 1점으로 하였다. 본검사 참여자 93명의 총점 분포와 정답률은 <표 6>, <표 7>과 같다. 참여자 점수는 20점 만점에 10점에도 미치지 못하는 평균 9.26점으로 조사되었다. 그리고 문항별 정답률을 보면 문항 2번(82.8%), 문항 5번(76.3%), 문항 1번(71.0%)은 정답률이 높았지만, 문항 10번의 경우 정답률이 8.6%로 가장 낮았다.
본검사 참여자 점수에 대한 기술통계량 (단위 : 명, 점)
본검사 참여자 문항별 정답률 (단위 : 명, %)
4.2. 상관관계 분석 결과
창의⋅비판적 사고역량을 측정하는 진단도구의 하위영역간 독립성 판단을 위해 상관관계 분석을 실시하였다. 분석결과 <표 8>과 같이 포괄적 이해와 문제해결(r=0.376), 창조적 구성과 문제해결(r=0.346), 창조적 구성과 합리적 평가(r=0.266) 간 다소 낮은 양(+)의 상관관계가 있는 것으로 나타났다. 하지만 포괄적 이해와 창조적 구성, 포괄적 이해와 합리적 평가, 합리적 평가와 문제해결은 통계적으로 유의미한 상관관계를 보이지 않았다(p>0.05).
창의⋅비판적 사고역량 하위영역간 상관관계분석 결과
4.3. 신뢰도 분석 결과
창의⋅비판적 사고역량 진단도구의 신뢰도 점검을 위하여 문항 내적 일치도인 크론바흐 알파(Cronbach Alpha)계수를 하위영역별로 산출하였다. 분석결과 <표 9>와 같이 전체 진단도구 20문항에 대한 신뢰도는 0.571로 조사되었다. 그리고 하위영역별로 보면 문제해결 영역이 0.513으로 가장 높았지만, 합리적 평가(0.031), 창조적 구성(0.189)은 신뢰도가 매우 낮았다. 일반적으로 신뢰도 계수가 0에 가까울수록 신뢰도가 낮은 경우인데, 문항의 난이도가 지나치게 높거나 낮은 경우에도 신뢰도가 낮게 나타난다.
창의⋅비판적 사고역량 하위영역별 신뢰도 분석 결과
4.4. 문항반응이론 적용 영역별 문항분석 결과
4.4.1. 포괄적 이해 영역 문항분석 결과
2-모수 로지스틱모형으로 포괄적 이해 영역의 문항을 분석한 결과 <표 10>과 같이 모든 문항이 쉬운(-0.5 미만) 난이도를 가졌다. 가장 쉬운 1번 문항의 난이도는 –2.742로 [그림 1]과 같이 문항특성곡선의 가장 왼쪽(Q1)에 위치하고 있다.
포괄적 이해 영역 문항분석 결과
![[그림 1]](/upload//thumbnails/kjge-2022-16-5-317-gf1.jpg)
포괄적 이해 문항특성곡선과 문항정보곡선
변별도는 문항 2번이 16.220으로 가장 높았고, 4번과 5번은 어느 정도 있는 것으로 나타났다. 그러나 문항 1번과 음수 값을 가지는 문항 3번은 0.35 미만으로 변별도가 없는 것으로 분석되었다.
4.4.2. 창조적 구성 영역 문항분석 결과
2-모수 로지스틱모형으로 창조적 구성 영역의 문항을 분석한 결과 <표 11>과 같이 문항 10번은 -1.819로 쉬운(-0.5 미만) 난이도, 8번과 6번 문항은 적절한(-0.5~0.5 미만) 난이도, 7번과 9번 문항은 어려운(0.5 이상) 난이도를 보였다. 가장 어려운 7번 문항의 난이도는 2.305로 [그림 2]와 같이 문항특성곡선의 가장 오른쪽(Q9)에 위치하고 있다.
창조적 구성 영역 문항분석 결과
![[그림 2]](/upload//thumbnails/kjge-2022-16-5-317-gf2.jpg)
창조적 구성 문항특성곡선과 문항정보곡선
변별도는 8번 문항이 1.389로 가장 높았고, 6번 문항은 0.754로 적절하였다. 그러나 10번, 9번, 7번 문항은 변별도가 없는 것(0.35 미만)으로 분석되었다. 특히 문항 10번은 -2.010으로 음수 값을 지니고 있어 변별도가 전혀 없는 문항이라고 볼 수 있다.
4.4.3. 합리적 평가 영역 문항분석 결과
2-모수 로지스틱모형으로 합리적 평가 영역의 문항을 분석한 결과 <표 12>와 같이 문항 13번은 -0.653으로 쉬운(-0.5 미만) 난이도, 11번 문항은 0.139로 적절한(-0.5~ 0.5 미만) 난이도, 12번, 14번, 15번 문항은 어려운(0.5 이상) 난이도를 보였다. 가장 어려운 12번 문항의 난이도는 5.909로 [그림 3]과 같이 문항특성곡선의 가장 오른쪽(Q12)에 위치하고 있다.
![[그림 3]](/upload//thumbnails/kjge-2022-16-5-317-gf3.jpg)
합리적 평가 문항특성곡선과 문항정보곡선
변별도는 11번 문항만 14.897로 가장 높았다. 그러나 문항 14번, 15번, 12번, 13번은 0.35 미만으로 변별도가 없는 것으로 분석되었다. 특히 문항 13번은 -0.527로 음수 값을 지니고 있어 문항특선곡선이 우하향(Q13)하는 형태를 보이고 있다.
4.4.4. 문제해결 영역 문항분석 결과
2-모수 로지스틱모형으로 문제해결 영역의 문항을 분석한 결과 <표 13>과 같이 문항 17번, 18번, 16번은 쉬운(-0.5 미만) 난이도를 가졌다. 그리고, 20번과 19번 문항은 0.5 이상으로 난이도가 상당히 어려운 것으로 나타났다. 가장 쉬운 17번 문항의 난이도는 –0.448로 [그림 4]와 같이 문항특성곡선의 가장 왼쪽(Q17)에, 가장 어려운 20번 문항의 난이도는 5.668로 문항특선곡선의 가장 오른쪽(Q20)에 위치하고 있다.
문제해결 영역 문항분석 결과
![[그림 4]](/upload//thumbnails/kjge-2022-16-5-317-gf4.jpg)
문제해결 문항특성곡선과 문항정보곡선
합리적 평가 영역 문항분석 결과
변별도는 문항 20번을 제외하고 전반적으로 높은 것으로 나타났다. 문항 17번, 16번, 18번, 19번 순으로 변별도가 높았고, 20번 문항은 0.131로 변별도가 없는 것으로 분석되었다.
5. 논의 및 결론
본 연구 목적은 대학 교육의 핵심역량인 창의와 관련된 창의⋅비판적 사고역량을 객관적으로 측정할 수 있는 지필고사 형태의 진단도구를 개발하여 타당화하는 데 있었다.
연구방법은 먼저 예비검사 진단도구 40문항을 가지고 예비검사를 시행한 후 연구진의 문항검토를 통해 20개 문항의 창의⋅비판적 사고역량 진단도구를 개발하였다. 이후 최종 타당화를 위한 본검사를 통해 기술통계량, 상관관계 분석, 신뢰도 분석을 실시하였으며, 문항반응이론의 2-모수 로지스틱 모형을 적용하여 문항의 난이도와 변별도를 분석하였다.
연구 결과는 첫째, 창의⋅비판적 사고역량 진단도구의 영역별 독립성 판단을 위한 상관관계 분석 결과 포괄적 이해와 문제해결(r=0.376), 창조적 구성과 문제해결(r= 0.346), 창조적 구성과 합리적 평가(r=0.266) 사이에 다소 낮은 양(+)의 상관관계가 있었다. 상관계수(r)는 -1부터 +1까지의 값을 갖는데 우수명(2019: 244)에 따르면 상관계수가 0.6 이상이면 높은 상관관계를 갖는다고 할 수 있지만, 0.2~0.4 미만은 낮은 상관관계가 있다고 설명하고 있다. 본 연구의 경우 모든 하위영역간 상관계수가 0.4 미만으로 상관관계가 낮아 다중공선성(Multicollinearity) 문제가 없다는 점에서 다소 양호한 검사도구라고 할 수 있다. 왜냐하면 하위영역 간 상관관계가 높다면 다중공선성 문제가 발생할 수 있다. 만약 다중공선성 문제가 발생했을 경우에 변수들이 다르게 구분될 수 있는 문항을 개선해서 상관도를 낮추어 이를 보완할 필요가 있다.
둘째, 창의⋅비판역량 진단도구의 신뢰도 분석 결과 하위영역별 신뢰도 계수가 문제해결(0.513), 포괄적 이해(0.324), 창조적 구성(0.189), 합리적 평가(0.031)의 신뢰도가 매우 낮은 것을 확인할 수 있었다. 일반적으로 크론바흐 알파 계수가 0.6 이상이면 무난한 수준으로 판단하고 있다(우수명, 2019: 419). 하지만 문항의 난이도가 지나치게 높거나 낮은 경우에 신뢰도가 낮아지므로 문항난이도가 낮은 문항에서 난이도가 높은 문항까지 골고루 포함되도록 개선할 필요가 있다.
셋째, 문항반응이론을 적용하여 2-모수 로지스틱모형으로 문항난이도 분석을 실시한 결과, 난이도가 쉬운 문항이 8개(1번, 3번, 5번, 10번, 4번, 2번, 13번, 8번), 난이도가 적절한 문항이 5개(6번, 11번, 16번, 18번, 17번), 난이도가 어려운 문항이 7개(12번, 20번, 14번, 7번, 15번, 19번, 9번)로 난이도가 다소 치우쳐져 있는 것을 확인할 수 있었다. 그러므로 진단도구가 타당화 될 수 있도록 중간 정도의 난이도 문항을 보완할 필요가 있다.
넷째, 문항반응이론을 적용하여 2-모수 로지스틱모형으로 문항변별도를 분석한 결과, 변별도가 있는 문항이 4개(6번, 5번, 4번, 19번), 변별도가 높은 문항이 6개(2번, 11번, 17번, 16번, 18번, 8번)였지만, 변별도가 없는 문항도 10개(10번, 13번, 3번, 20번, 9번, 12번, 15번, 7번, 14번, 1번)나 되는 것으로 확인되었다. 이는 본 연구에서 변별도 없는 문항의 평가기준을 0.35 미만 다소 높게 정했기 때문으로도 볼 수 있다. 만약 성태제(2019a: 49)가 제시한 변별도 없는(0.00) 문항의 기준을 따른다면 문항 7개(1번, 14번, 7번, 15번, 12번, 9번, 20번)는 어느 정도 변별도가 있는 문항이라고 볼 수 있을 것이다. 그렇지만 여전히 문항 10번 인과법칙 및 가설추리(-2.01), 13번 근거의 결론 강화/약화 평가(-0.527), 3번 텍스트 이해(-0.505)는 모수가 음수값을 지니고 있어서 변별도가 있는 문항을 개발할 필요가 있다.
다섯째, 문항반응이론은 보통 변별도와 난이도 정도를 확인할 때 주로 활용되는데, 본 연구의 창의⋅비판적 사고역량 진단도구의 하위영역 중 창조적 구성과 합리적 평가 영역은 변별도가 다소 모호해 보인다. 따라서 I대학 학생들의 특성을 고려하여 향후 연구에서는 창조적 구성(함축 및 직접추리, 숨은 전제 찾기, 인과법칙 및 가설추리)의 과제방식 내용과 합리적 평가(근거의 적절성 평가, 근거의 결론 강화/약화 평가, 오류평가, 반론의 합당성 평가)의 과제방식 내용 문항을 개선하는 작업이 고려되어야 할 것이다.
이상을 종합해 보면 본 연구는 창의⋅비판적 사고역량에 대한 개념을 문제해결과 대안을 제시하는 포괄적이고 폭넓은 사고로 보고 포괄적 이해, 창조적 구성, 합리적 평가, 문제해결로 하위영역을 구성하였다는 점에서 의의를 지닌다. 정혜진과 지은림의 연구(2020: 524)에서는 비판적⋅창의적 사고역량의 하위요인으로 분석, 추론, 종합, 참신성, 생성력을 설명하고 있다는 점에서 기존 연구와 차별화된다. 본 연구를 통해 개발된 창의⋅비판적 사고역량 진단도구는 I대학교와 유사하게 창의⋅비판 사고력을 핵심역량으로 설정하고 있는 대학에서 객관적 성과지표로 활용하는데 도움이 될 것이다.
그리고, 창의⋅비판적 사고역량 진단도구는 대학 교육 현장에서 실무적으로 다음과 같이 활용될 수 있다. 첫째, 대학생 개인의 사고력 발달 정도를 확인하고 능력을 개발하는 기본 지표로 활용할 수 있다. 둘째, 창의⋅비판적 사고력을 교육하는 데 필요한 기초자료를 제공하여 창의⋅비판적 사고력 발달에 관련된 다양한 학습자료와 교수학습방법론이 개발되는 계기가 될 수 있다. 셋째, 국가직 7급 공채 공직적격성평가(PSAT), 법학적성시험(LEET) 등 종합적 사고력을 평가하는 시험에 대한 적응력을 키울 수 있다. 넷째, 창의⋅비판적 사고역량진단 도구를 다양한 형태의 난이도별로 선택할 수 있도록 개발하여 평가시스템을 구축한다면 논리적 사고 수업과 평가의 질을 향상시키는데 기여할 것이다.
그러나 본 연구에서 개발한 창의⋅비판적 사고역량 도구 개발은 연구대상이 예비검사 26명, 본검사 93명으로 표본이 적어서 대표성을 확보하기에 다소 한계가 있다는 점이다. 향후 학년별, 다양한 교과목별, 전공별, 시계열별로 분석을 실시하여 측정의 타당성을 높이는 것이 필요하다.
최종 개발한 창의⋅비판적 사고역량 진단도구는 문항난이도는 적절하지만 문항변별도가 다소 낮은 것으로 파악되었다. 그리고, 문항변별도에 음수인 문항도 일부 있었다는 점을 고려해 볼 때, 지속적으로 창의⋅비판적 사고역량 진단도구를 수정⋅보완하는 후속 연구가 이루어져야 할 것이다.
References
Appendix
<부록> 진단도구의 하위영역별 문항 예시
1. 포괄적 이해 영역
아래의 문항은 창의⋅비판역량 진단도구의 포괄적 이해 영역의 예이며 세부과제방식은 판단이해를 묻는 것이다.
[문제 2] 다음 <보기>의 구분을 토대로 할 때, ‘객관적인 말’에 해당하는 것은?
객관적인 말 : 실제 사물이나 사건을 그것이 처해있는 그대로 다루어 놓은 말
객관화시킨 말 : 실제 사물이나 사건에 대한 특정 시각이 반영되어 있는 말인데도, 사물이나 사건 그대로를 다룬 것처럼 보이게 하는 말
① 개는 고양이보다 인간에게 충성스럽고 영리한 동물이다.
② 개는 통상 수명이 12년 정도 되는 네 발 달린 동물이다.
③ 개는 인간과 함께 생활한 이래 인간의 가장 절친한 친구이다.
④ 개를 먹는 풍습과 먹지 않는 풍습 사이의 문화적 우열은 없다.
⑤ 개를 반려동물로 받아들이면 늙고 병들어도 끝까지 책임지는 것이 원칙이다.
2. 창조적 구성 영역
아래의 문항은 창의⋅비판역량 진단도구의 창조적 구성 영역의 예이며 세부과제방식은 삼단논법/명제논리 추리를 묻는 것이다.
[문제 6]. ⓐ와 ⓑ가 참일 때 반드시 참이 되는 것을 <보기>에서 모두 골라 묶은 것은?
ⓐ 우리 반과 옆 반의 축구 경기에서 옆 반이 이기는 경우는 다음 둘 중 한 가지이다. 첫 번째는 우리 반이 자책골을 넣은 경우이며, 두 번째는 심판이 부정 판정을 한 경우이다.
ⓑ 이번 경기에서 우리 반은 자책골을 넣었다.
보기
ㄱ. 옆 반은 이번 경기에서 승리했다.
ㄴ. 우리 반이 넣은 골은 자책골 한 골 뿐이다.
ㄷ. 심판은 이번 경기에서 공정한 판정을 내렸다.
ㄹ. 옆 반의 공격수는 골을 넣은 후 골 세러모니를 했다.
ㅁ. 이번 경기가 시작되기 전에 부정판정을 막기 위한 심판 교육이 있었다.
① ㄱ② ㄱ, ㄷ③ ㄴ, ㄷ, ㄹ
④ ㄷ, ㄹ, ㅁ⑤ ㄱ, ㄷ, ㄹ
3. 합리적 평가 영역
아래의 문항은 창의⋅비판역량 진단도구의 합리적 평가 영역의 예이며 세부과제방식은 반론의 합당성 평가를 묻는 것이다.
[문 15] 다음은 바이러스 전문가의 주장이다. 전문가가 제시한 밑줄 친 근거에 대해 반박한 것으로 가장 적절하지 않은 것은?
바이러스 전문가 ○○○씨는 방송과의 인터뷰에서 A-kill 바이러스가 열에 약해서 50℃ 이상으로 가열하면 죽기 때문에, 감염된 조류의 고기라도 충분히 익혀 먹으면 안전하므로 유통해도 된다고 주장하였다. 현재 A-kill이 발생하면 발생한 농가를 중심으로 일정한 거리 안의 모든 닭, 오리 등을 땅에 묻어 전염을 막도록 되어있다. ○○○씨는 이 방식은 농민과 기업의 손실이 크므로, 지나친 경제적 손실을 막기 위해서 A-kill이 발생한 지역에서 사육된 닭과 오리도 유통시켜야 한다고 주장하였다. 이 인터뷰에서 ○○○씨는 안전성을 입증하겠다며 해당지역에서 생산된 닭과 오리고기를 직접 요리해 먹어 보였다.
① 닭고기나 오리고기를 요리할 때 완전히 익지 않을 수 있으므로 위험하다.
② 닭고기나 오리고기는 익히지 않고 유통하기도 하므로 유통시키면 안된다.
③ 감염된 조류를 상품으로 만드는 동안 바이러스가 확산될 수 있으므로 위험하다.
④ 해당 지역에 다소 손실이 있다고 하더라도 인명이 우선이므로 유통시키면 안된다.
⑤ 주방에서 손질하는 동안 가열하지 않는 요리에 섞여 감염될 수 있으므로 위험하다.
4. 문제해결 영역
아래의 문항은 창의⋅비판역량 진단도구의 문제해결 영역의 예이며 세부과제방식은 검증/반증실험 고안 및 평가를 묻는 것이다.
[문제 16] ‘물질 C가 마취제이다’라는 가설을 검증하기 위해 검토해야 하는 실험으로 적절한 것을 모두 고르면?
통증이 심한 치료나 수술 따위를 할 때 수술 받는 사람이 고통을 느끼지 않도록 하기 위하여 마취약을 사용한다. 마취약은 신경계에 작용하여 일시적으로 거의 대부분의 의식을 잃게 하거나 몸의 일부분의 감각을 잃게 한다. 마취제에는 중추 신경 기능을 마취하거나 통각 중추의 감수성을 감퇴시키는 전신 마취제와, 부분적으로 지각 신경 말초를 마비시키는 국소 마취제가 있다.
보기
ㄱ. 물질 C의 투여량에 따라 환자의 상처가 회복되는 데 걸리는 시간을 비교한다.
ㄴ. 물질 C를 사용한 환자들과 마취 효과가 검증된 다른 물질을 사용한 환자들을 비교 분석한다.
ㄷ. 물질 C를 사용하여 전신 마취 후 수술하는 중에 환자들이 깨어나 고통을 겪은 경우가 있는지를 검토한다.
① ㄱ② ㄴ③ ㄷ④ ㄱ, ㄴ⑤ ㄴ, ㄷ
Notes
본 연구진 1인이 톡트(비판적 사고력 검사) 개발에 참여하였고, 고등학생, 대학생 및 직장인 대상으로 예비검사(146명)를 통해 개발된 톡트 검사도구 전체 문항(60문항) 중에서 40문항을 선택하였기 때문에 재구성한 문항을 가지고 별도의 타당화 과정을 거치지 않았다. 다만, 예비검사 실시 후 문항난이도와 변별도 과정을 거친 후 영역별 세부과제방식이 모두 포함되도록 20문항을 최종 선정하였다. 참고로 TOCT 검사도구의 신뢰도는 0.809이고, 문항반응이론에 의한 난이도는 -3.994~3.794, 변별도는 0.358~1.890으로 진단도구가 비판적 사고력을 측정하기에 매우 양호하다고 볼 수 있다.
본검사에 활용된 창의⋅비판적 사고역량 진단도구의 하위영역별 구체적인 문항의 예는 <부록>에 제시하였다.