<추리와 논증>에 적용한 학습연계글쓰기(WTL)의 효과성 검토
A Study on the Effectiveness of WTL Applied to <Inference and Argumentation>
Article information
Abstract
초록
본 연구는 전공연계글쓰기(WAC)의 일환인 학습연계글쓰기(WTL)를 교양 과목에 적용하고 그 결과를 확인해 보는 것을 목적으로 한다. WAC와 WTL 둘 다 모든 글쓰기가 근본적으로 사고를 위한 도구이며 능동적인 학습 양식이라는 점에 근거하고 있지만 WAC의 글쓰기와 달리 WTL은 완결된 글 작성을 목표로 두지 않는다. WTL은 교과 내용에 대한 학생들의 사고를 활성화하여 심도 있고 효과적인 학습으로 이어지도록 하기 위한 도구로서의 글쓰기이다. 도구이므로 정형화되어 있지 않고 학습 효과를 얻을 수 있는 다양한 방식을 강좌에 맞게 개발할 수 있다.
WTL 수행이 학습에 긍정적인 영향을 미치는지 확인하기 위해 <추리와 논증> 수업에 WTL을 적용해 보았다. WTL 수행 방식 중 강의 요약을 비형식적으로 수행하게 하고 다음 수업 시간에 전체 피드백을 하거나 반복 설명하는 방식으로 진행하였다. 또 필요에 따라 개인 피드백도 하였다. 수행 결과는 WTL을 실시한 학기와 실시하지 않은 학기의 교육효과성 분석들을 비교하는 것과 WTL을 실시한 분반과 그렇지 않은 분반들의 성적을 비교하는 방식으로 확인해 보았다. 그 결과 WTL을 실시한 학기들에서 교육효과가 있음이 드러났고, 평균 성적 또한 향상되었으며, 편차도 줄어들었다. 결론적으로 관련 자료들은 WTL 수행이 학습 효과를 향상시키며 도움이 된다는 것을 보여준다.
Trans Abstract
Abstract
The purpose of this study is to apply WTL, which is part of WAC, to liberal arts subjects, and to check the results. Both WAC and WTL are based on the fact that all writing is fundamentally a tool for thinking and a positive way of learning, but unlike WAC’s writing, WTL does not aim at completed writing. WTL is writing as a tool to lead to in-depth and effective learning by activating students’ thinking about the subject matter. Since it is a tool, it is not standardized, and various methods that can achieve learning effects can be developed for each lecture.
In order to check whether WTL performance has a positive effect on learning, WTL was applied to the <Inference and Argumentation> class. Among the WTL implementation methods, the lecture was summarized in an informal manner, and full feedback was provided in the next class or repeated explanations were conducted. Also, personal feedback was provided as needed. The performance results were confirmed by comparing the educational effectiveness analysis of the semesters with and without the WTL, and by comparing the grades of those with and without WTL. As a result, we were able to show that there was an educational effect in the semesters in which WTL was conducted, that the average grade was improved, and that the deviation decreased. In conclusion, related data show that WTL performance is helpful and improves learning effectiveness.
1. 서론
국내 대다수 대학에서 글쓰기 교육을 필수로 실시한 것은 꽤 되었다. 주로 교양과목으로 배정되어 실시되고 있는 글쓰기 교육의 주된 목적은 의사소통 능력을 함양하기 위한 것이다. 그런데 2010년 이후 들어 의사소통 능력 함양을 위해서만이 아닌 학습 효과를 향상시키기 위한 방안의 일환으로 WAC(Writing Across Curriculum, 전공연계글쓰기)에 관한 연구들이 활발히 이루어지고 있다. WAC는 전공 수업과 연계된 글쓰기를 통해 학습 효능을 상승시키는 새로운 교수법으로, 학생들이 모든 학문 분야 안팎에서 지식을 발전시키고 의사소통할 수 있게 하기 위해 1970년대 미국 학부 교육에 도입된 프로그램이다(서상범, 2019a: 167). WAC는 ‘학습연계 글쓰기(Writing to Learn, WTL)’와 ‘전공 특화 글쓰기(Writing in Discipline, WID)’로 나뉘는데(박병철 외, 2018: 4-5), WTL은 학습 양식으로서의 글쓰기(교육적) 기능을, WID는 학문적 의사소통의 주된 양식으로서의 글쓰기(사회적) 기능을 반영한 것이다(원만희, 2010: 201-202). 본 연구는 이 중 WTL 수행이 실제로 학습 효능을 높이는지 알아보기 위한 것이다. 국내에서 WAC와 그 적용 사례에 대한 연구들은 제법 있지만1),) WTL 관련 연구들은 최근 들어서야 조금씩 나오고 있는 상황이며, 관련 연구들로는 김민옥(2019), 안상원(2020), 권경미(2019), 서상범(2019a, 2019b) 등이 있다.
권경미(2019)는 대안적 글쓰기 교육의 일환으로 WTL을 제시하고 있다. 권경미는 WTL을 혁신적 교수법으로 제시하면서 WTL을 다양하게 적용한 사례들을 보여주고 있어 향후 WTL을 활용하고자 하는 이들에게 도움을 주고 있다. 하지만 WTL을 활용한 수업이 실제로 어떤 효과를 거뒀는지에 대한 언급이 없다는 점에서 아쉽다. 이에 반해, 김민옥(2019)은 WTL을 수업에 활용하고 그 효과를 교육효과성 분석을 통해 밝히고 있다. 그런데 김민옥(2019)의 경우, WTL을 적용한 수업이 <세상을 바꾸는 글쓰기>라는 글쓰기 수업이다. 게다가 그는 WTL 자체의 학습 효과보다 포노 사피엔스에 해당하는 현대인들, 특히 20대 학생들의 경우 웹 미디어를 활용하는 것이 글쓰기 학습에 얼마나 효과적인지 살펴보는 것에 더 비중을 두고 있다. 교육효과성 분석 자료를 통해 웹 미디어 및 WTL의 효과를 보여주고 있다는 점에서 주목할 만하지만 해당 수업의 효과성 결과가 웹 미디어 활용에 의한 것인지, WTL 적용에 의한 것인지, 아니면 둘 다에 의한 것인지 구분할 수 없다는 점과 해당 글쓰기 수업 자체의 의해 글쓰기 학습 효과가 상승한 것인지, WTL의 적용이 영향을 미친 것인지 역시 구분할 수 없다는 점에서 WTL 수행 자체의 실효성을 파악하기에는 미흡하다. 안상원(2020)은 WTL만을 적용한 수업 모델과 그 효과를 보여주고 있다는 점에서 WTL 자체의 효과를 파악할 수 있는 연구이다. 안상원은 본인의 수업 <세상을 바꾸는 글쓰기>에서 다양한 방식으로 WTL을 적용하고 학생들의 사전-사후 설문을 통해 WTL이 글쓰기 학습에 얼마나 효과가 있었는지 밝히고 있다. 그런데 이 경우 김민옥(2019)과 마찬가지로, WTL을 적용한 해당 수업 자체가 이미 글쓰기 수업이어서 WTL을 통해 글쓰기 학습 효과가 증가한 것인지, 글쓰기 자체의 수업에 의해 글쓰기 학습 효과가 나타난 것인지 명확히 알 수 없다는 문제가 있다. 또 학습 효과를 학생들의 설문에만 의존했다는 점에서도 아쉬움이 남는다. 반면, 서상범(2019a, 2019b)은 글쓰기 수업이 아닌 강좌에 WTL을 적용한 결과를 보여준다는 점에서 앞선 연구들과 차이가 나며 그런 점에서 WTL의 효능 자체를 파악하는 데 도움이 되는 연구라 할 수 있다. 설문 조사와 WTL을 적용하지 않은 학기와의 자료 비교, 특히 성적에 대한 면밀한 분석을 통해 WTL 수행 효과를 보여주고 있다는 점에서 주목할 만하다.
필자 역시 WTL을 수업에 적용한 결과를 보여주려고 한다. 필자의 연구는 글쓰기 자체와 다소 거리가 있는 강좌에 적용했다는 점, 그 효과를 교육효과성 분석과 학생들의 성적을 통해 밝히려고 한다는 점, 그리고 이를 WTL을 적용한 학기 및 분반과 적용하지 않은 학기 및 분반을 나눠 비교한다는 점 등에서 앞선 연구들과 차이가 있다. 이런 점에서 본 연구는 기왕의 연구보다 WTL의 효능을 더 잘 알 수 있게 할 것이라 판단된다.
2. 학습연계글쓰기(Writing to Learn, WTL)
학습연계글쓰기(WTL)는 ‘범교과 글쓰기’(원만희, 2009; 이재성 외, 2010)라고 번역되기도 하고 ‘전공연계글쓰기’(원만희, 2010)라고 번역되기도 하는 WAC에서 비롯된 것이다. WAC는 전공과목이나 기타 일반교양 과목에서도 글쓰기를 가르치는 것으로, 전공 혹은 특정한 주제의 교양과목 교수가 자신의 수업 과정 안에 글쓰기 교육을 포함시켜 해당 분야 학습과 더불어 글쓰기 능력의 향상을 꾀하는 교육 방식이다(원만희, 2009: 161). 인지심리학에 따르면 글쓰기는 그 자체로 인지 능력과 사고 능력을 향상시킨다(정희모, 2005: 439, 442). 글쓰기를 통해 주체는 추상적이고 반성적인 사고를 하고 내용을 엄밀하게 분석하고 평가할 수 있게 되며 새로운 인지 과정으로 나아갈 수 있다(원만희, 2009: 166). 자신의 지식을 객관화하여 자신이 아는 것이 무엇인지, 알아야 할 것이 무엇인지 발견하게 하는 글쓰기(원만희, 2009: 166)는 사고의 산물인 동시에 의미와 지식을 구성하는 사고 과정이며, 그 자체로 인지 행위인 것이다(원만희, 2010: 195). 그런 점에서 모든 글쓰기 모형들은 근본적으로 사고를 위한 도구이며(정희모, 2005: 439) 능동적인 학습 양식이다(원만희, 2009: 163). 이것이 글쓰기 수업 외 기타 수업에 WAC를 도입한 이유이다.
WAC, 특히 WID는 글쓰기와 교과학습을 연계 혹은 통합한 ‘쓰기를 위한 학습’이면서 ‘학습을 위한 쓰기’이기에(원만희, 2009: 162; 이재성 외, 2010: 121, 135), 학기 중 수시로 학습자는 수업과 관련한 ‘완결된’ 글들을 제출하고 교수는 제출된 글을 피드백함으로써 학습자의 학습을 지도하는 방식으로 수행된다. 수시로 완결된 글을 제출한다는 점에서 학기 말 보고서와는 성격이 다르다. WAC에서의 글쓰기는 수업 진행과정에서 학습자의 학습을 돕기 위한 측면이 강하기 때문이다. 그런데 WAC(WID)에서 글쓰기는 학습자의 학습을 돕는 것뿐만 아니라 학습자의 학습 정도를 알 수 있게 하는 지표로도 작용한다. 이 점에서 WTL과 차이가 난다.
WTL은 일반적인 글쓰기 수업이나 WAC(WID)의 글쓰기와 달리 ‘완결된’ 글 작성을 목표로 하지 않는다. 왜냐하면 WTL은 학습자의 학습 정도를 파악하려는 것보다 학습이 잘 이행되도록 하는 것에 훨씬 비중을 두기 때문이다. WTL은 교과 내용에 대한 학생들의 사고를 활성화하여 심도 있고 효과적인 학습으로 이어지도록 하기 위한 ‘탐구적(exploratory) 글쓰기’이며 ‘도구’로서의 글쓰기이다. 도구이므로 학습 효과를 위해 반드시 완결된 글을 작성할 필요가 없고 메모와 같은 간단한 글쓰기나 변형된 쓰기 방식도 가능하다. 그 날의 강의 내용에 대한 간단한 요약이나 예습 메모, 퀴즈 답변, 학습 일지, 독서 일지, 이메일 질의 등의 비형식적이고(informal), 구조화되지 않은(unstructured), 자유형식의 글도 좋다(원만희, 2010: 202).2),) 또, 쓰기일지 작성, 문제기술하기, 실제 문제 풀이, 사례 들기, 시험 예제 쓰기와 풀기, 편지 쓰기, 사건 분석 등과 같은 다양한 형태로 활용할 수도 있다(서상범, 2019b: 402). WTL은 정형화되어 있지 않기에 학습 효과를 얻을 수 있는 다양한 방식을 교수마다 강좌에 맞게 개발할 수 있다. 이런 점에서 WAC(WID)보다 수업에 적용하기 쉽고 학생들의 거부감도 적다. 학생들은 늘 수업을 잘 이수해야 한다는 부담을 갖고 있다. 그런데 수업 진행 중 빈번히 ‘완결된’ 글로 학습 정도를 보여줘야 한다면 학생들이 느끼는 부담은 훨씬 증가할 것이며, 이는 학습 효과를 감퇴시키거나 해당 수업을 기피하는 요인으로 작동할 수도 있다. 게다가 WAC(WID)를 수행할 경우 해당 글들을 평가에 반영하는 경우가 대부분인데 이 역시 학생들에겐 부담이다. 반면, WTL은 교수에 따라 차이는 있긴 하겠지만 해당 글 자체를 평가에 반영하는 경우는 드물며, 혹여 평가에 반영한다고 하더라도 제출 여부와 같은 가벼운 반영에 불과하여 학생들에게 부담을 거의 주지 않는 방식으로 수행된다. 부담을 덜 주면서도 학습 효과를 낼 수 있다면 확실히 WTL은 좋은 학습 도구일 것이다. 필자는 WTL 수행이 학습에 긍정적인 영향을 미치는지 확인하기 위해 글쓰기와 다소 거리가 있는 <추리와 논증> 수업에 WTL을 적용해 보기로 했다.
3. 수업 운영 및 WTL 적용 결과
3.1 수업 운영
<추리와 논증>은 주당 2시간으로 진행되는 교양 선택 강좌이다. <추리와 논증>은 강좌명 그대로 추리력과 논증력을 기르는 것을 목표로 한다. 좀 더 세부적으로 언급하면 논증력은 논증의 분석, 재구성, 반박, 비판, 오류 찾기, 평가 능력을 기르는 것으로, 추리력은 언어추리, 수리추리, 논리퍼즐 등의 해결 능력을 기르는 것으로 연결 된다. 수업은 논리 규칙들에 대한 강의와 학생들의 문제풀이 및 발표로 진행된다. 교재는 김명석의 『두뇌보완계획100』으로 하였고 <표 1>은 해당 수업의 강의계획서이다.
강의계획서
해당 강좌는 수업의 특성상 논리 규칙을 배우고 다양한 문제들을 통해 그 규칙들을 적용해 충분히 익히는 과정을 반복하는데, 주당 2시간으로는 기본적인 논리 규칙들을 배우고 익히기도 빠듯하다. 이 때문에 WTL 활용 방안 중 시간을 요하는 방법은 적용하기 어려웠다. WTL의 활용 방안 중 문제풀기는 이미 수업에서 시행하고 있는 것이고, 새로운 문제 만들기는 흥미롭기도 하고 학습효과를 높일 수 있는 좋은 방법이긴 하지만 실행하려면 기존의 수업 내용 중 상당한 분량을 포기해야 한다. 학습 효과를 높이기 위해 WTL을 하는 것인데, 수업 분량을 상당량 줄이면서까지 WTL을 적용한다면 그것은 주객이 전도되는 격이 될 것이다. 또, 공이 많이 들거나 학생들에게 부담이 되는 방법도 활용하기 어려웠다. 왜냐하면 해당 과목은 교양 ‘선택’ 과목으로 수강생 대다수가 자의적으로 선택해 수강한 것이긴 하지만 적잖은 학생들이 수업 자체에 대해 부담을 갖고 있기에 가급적 수업 외 부담을 주지 않고 수업 내용 자체에만 집중하도록 하고 있기 때문이다. 이러한 이유들 때문에 필자는 해당 강좌의 기존의 학습량과 질 어느 것도 포기하지 않는 선에서 WTL을 실시하기 위해 WTL 종류 중 ‘그 날의 강의 요약’을 비형식적으로 하는 방식을 채택했다. 학생들은 수업 종료 5분전쯤 수업 당일 내용을 자유롭게 간략히 정리해 제출하고, 제출한 WTL에 대해서는 교수자가 다음 수업 시간에 WTL에서 많이 언급된 궁금증이나 질문들을 중심으로 전체 피드백 혹은 반복 설명을 하였고 필요에 따라 개인 피드백을 진행했다.3) 해당 과제들은 성적에 반영하지 않고 제출을 필수로 하지도 않았다. 하지만 출석한 학생들은 거의 빠짐없이 제출했었다.
3.2 WTL 수행지 및 WTL 수행 사례
필자가 처음 WTL을 접했었을 때 해당 수업에의 적용가능성에 대해 회의적이었다. 그러다가 WTL을 적용하는 것이 수업에 도움이 될 수 있을지 모른다는 생각을 하면서 가장 간단하면서 (학생과 교수자 모두) 부담되지 않는 방식으로 WTL을 적용해 보기로 했다. <표 2>는 해당 수업에 WTL을 적용한 수행지와 수행 사례이다.
WTL 수행지와 사례
자신이 무엇을 모르는지 아는 인식된 비인식은 학습하고 있는 것이나 학습한 것을 기억하는 데 아주 중요한다. 무엇을 모르는지 알아야 모르는 그것을 확인하고 인식하려는 노력을 하기 때문이다. 필자가 진행한 WTL 3번째 문항에서 학생들은 본인들이 무엇을 모르는지 상기하게 되고, 교수에게 재차 설명을 요구하거나 복습을 하겠다거나 다시 확인해 보겠다는 방식으로 해결하려는 노력을 모색한다.
3.3 WTL 적용 결과 –교육효과성 분석
WTL 적용 결과는 크게 두 가지로 나눠 볼 것이다. 하나는 WTL을 실시하지 않은 학기(2018-1학기)의 교육 효과성 결과와 WTL을 실시한 학기(2018-2학기, 2019-2학기)의 교육 효과성 결과를 비교하는 것이고, 다른 하나는 WTL을 실시한 수업과 실시하지 않은 수업의 성적 비교이다. 이에는 WTL을 실시하지 않은 학기와 실시한 학기와의 비교는 물론 WTL을 실시한 학기(2018-2학기, 2019-2학기) 중 WTL을 실시하지 않은 분반과 실시한 분반의 성적 비교도 포함된다.
3.3.1 연구 표본 구성(2018-1학기, 2018-2학기, 2019-2학기)
<표 3>과 같이 해당 교과목은 1학년 대상 교양 선택 과목이기에 수강생 중 다수가 1학년이며 일부 고학년이 있다. 해당 수업의 수강생 수는 평균 40명 내외이다. 그 중 사전-사후 검사에 모두 참여한 학생들, 즉 분석 대상자들은 다음과 같다.
교육효과성 분석 연구 표본
2018년도 1학기 교육 효과성 분석 사전 검사와 사후 검사에 모두 참여한 학생 수는 총 25명이며, 2018년도 2학기 교육 효과성 분석 사전 검사와 사후 검사에 모두 참여한 학생 수는 총 29명이다. 2019년도 2학기 교육 효과성 분석 대상자 중 사전 검사와 사후 검사에 모두 참여하여 분석에 포함된 사례는 총 25명이다. 사전-사후 조사에 참여한 학생은 세 학기 모두 1학년이 가장 많았다.4)
3.3.2 진단도구5)
필자는 해당 교과목을 통해 증진되기를 기대한 역량을 NOMAD6), 5대 핵심 역량 가운데, 융합, 혁신 요인으로 선택했다. 관련된 세부 역량은 ‘문제해결능력’, ‘창의적 사고력’, ‘분석적 비판적 사고력’이다. 진단 도구는 세 학기 모두 동일하며, 역량별 세부 역량과 하위 요소는 <표 4>와 같다.
핵심역량 진단 척도의 하위요인별 문항구성
학생들은 이상의 문항들에 대해 ‘전혀 그렇지 않다’ ‘그렇지 않다’ ‘보통이다’ ‘그렇다’ ‘매우 그렇다’ 5개 중 하나를 선택하게 되어 있다. <표 5>와 같이 진단도구의 측정문항을 살펴보면, 해당 강좌에 가장 적합한 항목들은 ‘혁신’이라는 핵심 역량의 세부 역량 <분석적 비판적 사고력> 중 ‘체계성’이다. <분석적 비판적 사고력> 중 ‘진실추구성’이나 ‘회의성’ 문항 중에도 해당 강좌를 이수함으로써 획득 가능한 것들이 있지만 해당 문항들이 모두 본 강좌에 부합한다고는 할 수 없다. 핵심 역량 ‘융합’의 세부 역량 <창의적 사고력>에서 ‘호기심 가지기’의 문항들 일부는 해당 강좌와 관계된다고 할 수 있지만, 이보다는 <문제해결능력> 중 ‘문제해결 자신감’의 다수 문항들, ‘대안개발 및 실행’에서의 일부 문항들이 해당 강좌를 이수함으로써 획득할 수 있는 것으로 판단된다. 정리하면, <분석적 비판적 사고력> 중 ‘체계성’과 <문제해결능력> 중 ‘문제해결 자신감’, ‘대안개발 및 실행’ 문항들이 해당 강좌와 관련되며, 그 중 ‘체계성’ 문항들은 해당 강좌와 가장 긴밀하다. 따라서 해당 강좌를 이수한 학생들은 이상의 항목들에서 향상을 보일 것으로 기대할 수 있다.
역량별 측정문항
3.3.3 교육효과성 분석 결과
교육효과성은 WTL을 실시하지 않은 2018-1학기와 2018-2학기, 2019-2학기에서 WTL을 실시한 분반의 분석 결과를 비교한다. 다음은 핵심역량(융합, 혁신)의 세부역량(문제해결능력, 창의적 사고력, 분석적 비판적 사고력)과 세부역량별 하위 요소들의 사전-사후 검사 결과이다.
① 2018-1학기7)
세부역량 평균에 대한 사전-사후 차이 검증 결과(<표 6> 참조), <문제해결능력>의 사후점수가 상승하였지만, <창의적 사고력>, <분석적 비판적 사고력>의 사후점수는 하락하였다. 또 세부역량별 하위 요소 평균에 대한 사전-사후 차이 검증 결과(<표 7> 참조), <문제해결능력>의 모든 하위 요소와 ‘창의적 효능감’의 사후 점수가 증가하였다. <문제해결능력>에서 상승이 있었다는 점은 과목 특성상 당연한 결과이다. 하지만 필자가 놀란 것은 유의미하지는 않지만 <분석적 비판적 사고력>에서 사후 검사에서 하락했다는 것이다. <창의적 사고력>은 해당 수업과 다소 거리가 있어 사전-사후 결과에서 차이가 없거나 다소 하락할 수 있다고 예상할 수 있지만 해당 수업의 주된 목표가 <분석적 비판적 사고력> 함양에 있기 때문에 <분석적 비판적 사고력>의 하락을 이해하기 쉽지 않았다. 더구나 수업을 진행하는 과정에서 학생들의 호응도 높았고 어렵지만 유익했다는 다수 학생들의 피드백을 고려하면 더더욱 분석 결과를 납득하기 어려웠다. 해서 필자는 몇 가지 의심 가는 요인을 변경시킬 계획을 하였었다. 하지만 다음 학기(2018-2학기)에 WTL을 적용하고 그 효과를 확인하기 위해서 변경을 유보하였다.
세부역량별 하위 요소 평균에 대한 사전-사후 검증
② 2018-2학기9)
세부역량 평균에 대한 사전-사후 차이 검증 결과(<표 8> 참조), <문제해결능력>, <창의적 사고력>, <분석적 비판적 사고력> 모두 사전 점수에 비해 사후 점수의 상승이 나타났다. 게다가 이러한 상승은 통계적으로 유의한 차이이다. 또 세부역량별 하위 요소 평균에 대한 사전-사후 차이 검증 결과(<표 9> 참조), <문제해결능력>의 ‘모든’ 하위 요소에서 통계적으로 유의한 사후 점수 증가가 나타났고, <창의적 사고력>의 하위 요소 중에서도 ‘창의적 효능감’, ‘호기심 가지기’, ‘위험 도전’ 요소, <분석적 비판적 사고력>의 하위 요소 중에서는 ‘체계성’이 통계적으로 의미 있는 점수 상승을 나타났다. 비록 통계적으로 유의미한 것은 아니지만 그 외 하위 요소들도 모두 상승한 결과가 나왔다. 다시 말해 2018-2학기 해당 강좌의 교육효과성은 모든 부분에서 상승했다. 2018-1학기와 달라진 것이 있다면 WTL을 이행한 것이다. 결국 두 자료(2018-1학기 교육효과성 분석 자료와 2018-2학기 교육 효과성 분석 자료)의 비교를 통해 WTL 수행이 교육 효과를 유발한다고 결론지을 수도 있다. 하지만 한 번의 검증 결과로 WTL 수행 효과를 단정하기는 섣불렀다. 해서 필자는 2019-2학기에도 WTL을 실시하고 그 결과를 교육효과성 분석을 통해 알아보기로 했다.
세부역량 평균에 대한 사전-사후 차이 검증
세부역량별 하위 요소 평균에 대한 사전-사후 검증
③ 2019-2학기10)
2019-2학기의 경우, <분석적 비판적 사고력>, <문제해결능력>, <창의적 사고력> 모두 사후 점수가 상승하였다(<표 10> 참조). <분석적 비판적 사고력>의 하위 요소 중 ‘체계성’이 유의미한 정도로 증가하였고, ‘진실추구성’과 ‘탐구성’은 소폭 감소하였지만 그 외 하위 요소들은 모두 상승하였다(<표 11> 참조). 2019-2학기 교육효과성 결과에서도 대부분의 요소들에서 상승하였고 이는 WTL 수행이 교육에 효과적임을 다시 한 번 보여주는 것이다. 그런데 2019-2학기의 교육효과성은 2018-2학기에 비해 상대적으로 낮은 증가율을 보인다. 이러한 결과는 정말로 WTL 수행이 학습에 도움이 되는지 자신하기 어렵게 한다. 뿐만 아니라 이런 정도의 상승은 WTL 수행 결과라기보다 해당 수업의 특성상 수업 자체를 통해 획득된 것이 아닐까 하는 의구심을 가질 수 있게 한다. WTL 수행의 학습 효과 여부를 확인하기 위해서는 다른 검토가 필요했다. 그래서 필자는 학생들의 성적을 비교해 보기로 하였다.
세부역량 평균에 대한 사전-사후 차이 검증
세부역량별 하위 요소 평균에 대한 사전-사후 검증
3.4 WTL 적용 결과 –성적 비교
학생들의 성적은 두 가지 방식으로 비교할 것이다. 하나는 WTL을 시행한 학기와 시행하지 않은 학기의 중간고사와 기말고사의 평균 성적과 표준편차를 비교하는 것이고, 다른 하나는 동일 학기 내에서 WTL을 실시한 분반과 실시하지 않은 분반의 평균 성적과 표준편차를 비교하는 것이다.
난이도는 학기마다 조금씩 차이가 나며 문항 수에서도 다소 차이가 있다(<표 12> 참조). 2018-1학기 중간고사와 2018-2학기 중간고사는 문항 수와 난이도가 유사하지만 2019-2학기 중간고사에서는 난이도가 높아졌다. 또 2018-1학기 기말고사에 비해 2018-2학기에는 문항수가 30% 증가했고 난이도가 높아졌다. 2019-2학기 기말고사의 문항수와 난이도는 2018-2학기와 유사하다. 문항수나 난이도를 변경한 이유는 2018-1학기와 유사한 정도의 난이도에서는 변별력을 갖기가 어려웠기 때문이다. 동일 학기의 경우 분반마다 문제는 달리하지만 난이도는 비슷하게 구성하였다. 그런데 이상과 같이 학기별 난이도와 시험 문항수가 변하는 상황, 즉 요인들이 통제되지 않은 상황에 있는 대조군과 실험군의 비교를 신뢰할 수 있을지, 그리고 굳이 시험 성적을 비교할 필요가 있는지에 대한 의문이 있을 수 있다. 교육효과성 분석만으로 만족할 수도 있지만 그 외 자료를 통해서도 WTL 효능성을 확인해 볼 수 있다면 마다할 이유가 없다.
학기별 중간/기말고사 문항수와 난이도
여기서의 문제는 두 가지이다. 첫째, 통제되지 않는 변인들이다. 서로 다른 학기에 시행된 시험에서 변인들, 즉 문항수와 난이도에서 차이를 보이긴 하지만 해당 수업의 특성상 주관식 문제들은 거의 없으며 객관적 평가가 가능한 문제들을 출제한다는 점을 고려한다면 문항수와 난이도의 변이가 자료를 신뢰할 수 없을 만큼 통제불가능한 것은 아니라고 판단된다. 또, 동일 학기에 시행된 시험에서는 대조군과 비교군의 요인들이 같다.11) 따라서 동일 학기 내 분반별 성적 비교는 서로 다른 학기 시험에서의 변인들을 보완해 WTL의 효능을 보여줄 수 있을 것이다. 게다가 동일 학기 내 비교는 혹시 있을 수 있는 년도별 편차를 제거하고 WTL 효능을 확인할 수 있다는 장점도 있다. 둘째, 시험 성적 비교이다. 필자는 해당 수업에서 학생들의 평가를 수업 시간에 제시된 문제들을 풀고 다른 학생들 앞에서 그것을 보여주는 ‘발표’와 ‘(중간/기말) 시험’ 두 가지로 하고 있다. 문제 풀이 ‘발표’에서는 질적 평가를 하지 않고 양적 평가, 즉 참여 빈도만 반영하였다. 결국 수강한 학생들이 해당 수업을 잘 이수했는지 여부는 ‘시험’을 통해서만 객관적으로 확인할 수 있었다. 이러한 이유 때문에 교육효과성 분석의 결과를 보완하기 위한 자료로는 시험 성적이 유일한 것이었다.
본 강좌는 단계적으로 진행되는 것으로 학습 효과가 누적적으로 일어난다. 평가 역시 이 점이 반영되어 중간고사 이후 수업 과정을 숙지하는 것은 물론 중간고사 이전 과정도 충분히 숙지해야 기말고사에서 높은 점수를 받을 수 있다. 기말고사는 중간고사의 내용들을 모두 포함하고 있기 때문이다. 결국 기말고사의 결과가 본 강좌의 학습 정도를 궁극적으로 보여주는 것이라 할 수 있다. 시험은 논리 규칙에 대한 이해를 바탕으로 추론하기, 잘못된 추론 바로 잡기, 추론 과정에 적용된 추론 규칙 파악하기, 규칙을 응용한 퍼즐 풀이 등으로 구성된 객관식 문제 풀이이다. 다음은 세 학기 동안의 중간고사와 기말고사의 평균과 표준편차이다.
3.4.1 학기별 성적 비교
여기서는 교육효과성 분석을 실시한 학기 중 WTL을 실시하지 않은 학기와 WTL을 실시한 학기의 성적을 비교하여 살펴본다.12), 이 비교는 앞서 보았던 교육 효과성 분석의 자료, 특히 2019-2학기 교육 효과가 낮은 상승폭을 그린다는 것을 때문에 WTL 수행의 학습 효과에 대해 유보했던 판단들을 보완할 수 있게 할 것이다. 교육효과성 분석을 실시한 학기 중 WTL을 실시하지 않은 학기와 WTL을 실시한 학기는 <표 13>과 같다.
WTL 실시 여부-학기별
<표 14>와 같이 2018-1학기와 2018-2학기의 중간고사 평균은 차이가 별로 없고, 편차는 2018-2학기가 더 높다. 2019-2학기 중간고사 점수는 높아졌고 편차는 2018-2학기에 비해 조금 낮아졌지만 2018-1학기보다는 조금 높다. 2018-1학기와 2학기 중간고사의 난이도가 비슷했다는 점을 감안하면 적어도 2018-2학기 중간고사에서는 WTL 수행 효과가 없어 보인다고 할 수 있다. 그런데 2019-2학기 중간고사에서는 이전 학기에 비해 난이도를 높였음에도 불구하고 중간고사 점수는 높아지고 편차는 낮아졌다. 2019-2학기 점수는 WTL의 효과를 보여준 것 같지만 2018-2학기 점수까지 감안하면 단정적으로 WTL 수행이 교육효과를 유발한다고 결론짓기 어렵다.
학기별 중간고사 평균과 표준편차
<표 15>와 같이 기말고사의 경우는 좀 더 명확하다. 2018-2학기에는 전학기에 비해 평균 점수가 높고 편차는 낮아졌고, 2019-2학기의 경우는 2018-1학기는 물론 2018-2학기에 비해서도 평균 점수가 높고 편차는 더 낮아졌다. 2018-1학기 기말고사에 비해 2018-2학기와 2019-2학기 기말고사 평균은 월등히 높고 편차는 점점 낮아졌다는 것, 게다가 2018-1학기에 비해 2018-2학기와 2019-2학기 기말고사의 문항수가 증가하고 난이도가 높아졌다는 점을 감안하면 WTL을 실시한 학기의 성적은 그렇지 않는 학기보다 상대적으로 더 높고 편차는 더 낮아졌다고 말할 수 있다. 앞서도 언급했듯이 본 강좌의 학습 효과는 최종적으로 기말고사 성적을 통해 확인할 수 있다는 점을 고려한다면 중간고사 평균과 편차보다 기말고사의 평균과 편차가 실질적으로 해당 강좌에서 학생들의 학습 결과를 확인할 수 있는 것으로 보아야 한다. WTL을 수행한 학기의 기말고사 성적이 높아지고 편차가 낮아졌다는 것은 앞서 살펴보았던 교육 효과성 분석 자료가 단순히 수업 자체의 효과뿐만 아니라 WTL 수행의 영향을 받은 것이라는 것을 확인하게 해준다. 결국 교육 효과성 분석 자료와 학기별 성적 비교는 WTL 수행이 학습 효과를 상승시킨다는 것을 보여준다. 이를 좀 더 명확히 하기 위해 동일 학기 내에서 WTL을 실시하지 않은 분반과 실시한 분반의 성적을 비교하려고 한다. 동일 학기 내 분반별 비교는 학기별 비교보다 WTL 수행의 학습 효능 여부를 좀 더 분명히 보여줄 것이다.
학기별 기말고사 평균과 표준편차
3.4.2 분반별 성적 비교
여기서는 동일 학기 중 WTL을 실시하지 않은 분반과 WTL을 실시한 분반의 성적을 비교하여 살펴본다. 동일 학기 중 WTL을 실시하지 않은 분반과 WTL을 실시한 분반은 <표 16>과 같다.13) 동일 학기 내 분반별 시험의 난이도와 문항수는 같다.
WTL 실시 여부-분반별
<표 17>과 <표 18>은 동일 학기 내 WTL을 실시한 분반들과 그렇지 않은 분반들의 평균 성적과 편차를 비교한 것이다. 2018-2학기의 경우(<표 17> 참조), 중간고사에서는 WTL을 실시하지 않은 분반의 평균이 실시한 분반의 평균보다 높고 편차는 낮다. 하지만 기말고사의 경우 WTL을 실시한 분반의 평균이 더 높고 편차가 더 낮다. 2019-2학기의 경우는 WTL을 실시한 분반이 중간고사와 기말고사 모두에서 성적이 높고 편차는 더 낮다(<표 18> 참조). 해당 강좌의 학습 결과는 궁극적으로 기말고사에서 확인할 수 있다는 점을 감안한다면, 두 학기 모두 WTL을 실시한 분반들의 시험 평균이 높고 편차가 낮다고 판단할 수 있다.
2018-2학기 분반별 평균 성적과 표준편차
2019-2학기 분반별 평균 성적과 표준편차
앞서 필자는 WTL을 수행한 학기의 교육 효과성 증가가 진정 WTL을 통해 획득된 것인지 아니면 해당 수업 자체에서 얻어진 것인지 정확히 판단하기 어렵다고 하였다. 이를 보완하기 위해 WTL을 실시한 학기와 실시하지 않은 학기의 성적과 편차를 비교하였다. 그 결과 WTL 수행이 학습 효능을 야기한다는 것을 알 수 있었다. 동일 학기 내 WTL을 실시한 분반과 그렇지 않은 분반들 사이의 비교는 WTL 수행 효과를 좀 더 명확히 보여줄 수 있는데, 그 결과 역시 WTL 수행이 학습에 긍정적인 기여를 하는 것을 보여주고 있다. 결론적으로 이 모든 자료들, 즉 교육효과성 분석 자료들과 학기별, 분반별 성적 및 편차 자료들은 WTL 수행이 학습 효과를 높인다는 명백히 보여주고 있다.
4. 결론
이제까지 WTL 수행이 학습 효과를 영향을 미치는 여부를 알아보았다. 첫째는 교육효과성 분석을 통해 WTL을 실시한 학기와 실시하지 않는 학기의 차이를 비교하였고, 둘째는 학생들의 성적을 비교해 보았다. 이 두 번째 방식은 WTL 실시 여부와 관련한 학기별 분반별 비교를 두루 시행하였다. 교육효과성 분석을 통해서도 WTL을 실행했을 경우 학습 효과가 높아졌다는 것을 알 수 있었으며, 학기별, 분반별 성적과 편차를 비교한 자료를 통해서도 WTL을 실시한 학기나 분반에서 성적이 높고 편차가 낮아진 것을 확인할 수 있었다. 이상을 통해 WTL 수행은 학습에 긍정적인 영향을 미친다고 결론 내릴 수 있다. 더구나 필자가 시행한 WTL 방식이 아주 간단한 메모에 불과함에도 학습 효과를 볼 수 있었다는 것은 다양한 방식의 WTL 수행의 학습 효능에 대한 기대감을 높인다. 더 잘 배우고 오래 기억할 수 있는 전략들 중에는 자체 시험, 쪽지시험, 시간 간격을 두고 하는 연습, 연관성 있는 다양한 주제를 번갈아 복습하는 교차 연습, 해법을 배우기 전에 문제 풀어보기, 문제 유형을 결정짓는 근본 원칙이나 규칙성 뽑아내기 등이 있다(헨리 뢰디거 외, 2014: 36-7). 이 중 <추리와 논증>에서 사용하는 교재 속 문제들은 일종의 쪽지시험, 연관성 있는 주제들을 번갈아 복습하는 교차 연습 등이 포함되는 문제들이다. 이번 WTL의 실효성 관련 연구에서는 가장 간단한 인출 방식(이전에 배웠던 것들을 상기하게 하는 것, 학습 당일 배운 것들 상기하기, 모르는 것 인지하기(인식된 비인식-자신이 무엇을 모르는지 아는 것) 등)으로 구성되었는데, 스스로 문제 만들기, 해법을 배우기 전에 문제를 먼저 접하기, 문제 유형을 결정짓는 근본 원칙이나 규칙성 뽑아내기 등의 방법들도 해당 수업에 도입할 수 있다. 이런 류의 WTL은 해당 수업의 학습 효과를 훨씬 높일 것으로 판단된다.
References
Notes
만희(2009) “전공연계 글쓰기(WAC)를 위한 교육 기획” “전공연계글쓰기(WAC)를 위한 교육 기획”(2010), 배식한 “전공연계글쓰기(WAC)의 국내 적용을 위한 전제 조건”(2012), “문제 기반의 비판적 사고 WAC 수업 모형”(2013), 안상희(2015) “범교과적 글쓰기(WAC)를 통한 대학 글쓰기 교육”, 박정희(2019) “대학글쓰기 교육과 WAC 운영 체계”, 김병길(2008) “교과과정 연계방안으로서 WAC 프로그램 도입 사례 연구”, 김치헌, 원만희(2017) “WAC을 접목한 고전읽기 수업모형 연구”, 최원선(2018) “음악분석, 그리고 분석을 위한 글쓰기”, 김민정(2019) “이공계특성화대학 교양교육에서의 WAC 프로그램 도입 사례 연구” 등
러한 방식은 『어떻게 공부할 것인가』에서 보여주는 효과적인 학습법 중 기억 속에서 사실이나 개념 등을 떠올리는 ‘인출 연습’뿐만 아니라 ‘시간 간격을 두고 복습하기’의 학습에 해당한다.
육효과성 분석에 참여한 학생들 수가 적다는 점에서 분석 결과의 유의미함에 의문을 제기할 수도 있다. 이러한 의문은 정당하며, 가능한 한 이런 우려를 피하는 것이 옳다고 생각한다. 부산외국어대학교 교육혁신IR센터(Center for educational and innovational research)에서는 진단도구를 개발하고 그것을 토대로 학기마다 신청 수업에 한해 교육효과성 분석을 하고 있다. (사전-사후) 설문은 전문가에 의뢰해 분석하고 그 결과를 해당 교수에게 전달한다. 여기서 필자가 의존하고 있는 교육효과성 분석 자료 역시 그러한 과정을 통해 얻은 것이다. 현재 부산외국어대학교의 교양 과목 분반별 학생수는 대략 30~50명 정도이다. 개별 분반에서의 교육효과성을 분석하기 때문에 사전-사후 설문에 모두 참여한 학생수가 적은 것이 사실이다. 하지만 전문가의 분석 과정을 거쳤다는 점에서 해당 자료의 유의미성은 어느 정도 확보되었다고 볼 수 있을 것이다.
『NOMAD 핵심역량 진단도구 개발 보고서』, 부산외국어대학교, 2017, 참조. 부산외국어대학교는 21세기 인재상이 갖추어야 할 역량을 도전, 혁신, 융합, 나눔, 확장 5개의 핵심 역량과 세부 역량들-자기관리능력과 리더십, 분석적 비판적 사고 능력, 문제해결능력과 창의적 사고력, 대인관계역량과 공감능력, 글로벌 역량과 기술활용능력-을 정하고 관련된 진단도구 개발을 하였으며, 이러한 진단도구들을 토대로 교육목표와 효과성 분석을 하고 있다(『NOMAD 핵심역량 진단도구 개발 보고서』, 부산외국어대학교, 2017, 1쪽 참조).
NOMAD는 5개의 핵심역량-도전, 확장, 융합, 나눔, 혁심-에 해당하는 영문 알파벳의 파자(破字)이다(『NOMAD 핵심역량 진단도구 개발 보고서』, 부산외국어대학교, 2017, 각주1 참조).
『NOMAD 교육성과분석 및 환류시범사례 운영 결과 보고서 Ⅰ』 부산외국어대학교, 2018. 08, 16-20쪽. 부산외국어대학교 IR 센터에서는 2017년도부터 교육효과성 분석을 실시하여 2017~19년도 1월까지는 『NOMAD 교육성과분석』으로, 2019학년도 2학기부터는 『수업인증제 A형 수업효과성 분석』이라는 제하에 보고서를 꾸준히 발간하고 있다.
여기서 P값은 가설검정의 기각 여부를 판단하는 기준이 되는 유의확률을 뜻하며, T값은 두 집단의 평균 차이가 있는지 검증하기 위한 통계량인데 값이 커질수록 P값이 작아지며, 집단 간 유의한 차이를 보일 가능성이 높아진다.
『NOMAD 교육성과분석 및 환류시범사례 운영 결과 보고서 Ⅱ』 부산외국어대학교, 2019. 01, 69-75쪽
2019학년도 수업인증제 시범 운영 보고서』 부산외국어대학교, 2019. 72-75쪽
역시 대학에서의 시험에서 엄밀한 의미의 동일한 수준이 가능하겠느냐는 의문이 제기될 수 있다. 앞서 언급한 것 외에도 출제 시 난이도를 조절하여 난이도가 같은 문항들을 분반별로 제공하였다는 점 등을 고려한다면 비교군과 대조군의 요인들이 통제되고 있다고 보아도 무방하다고 판단된다.
2018-1학기에는 01, 02, 03 분반 전체의 평균과 표준편차이고, 2018-2학기에는 WTL을 실시한 분반인 02분반, 2019-2학기에는 01 분반의 평균과 표준편차이다.
2019-2학기 세 분반 중 02분반은 초반에는 WTL을 실시하였으나 이후 사정에 의해 지속하지 못해 비교 집단에 들어가지 않았다.
