1. 서론
대학 교양 글쓰기 교과는 크게 두 가지 핵심 목적을 가진다. 하나는 다양한 주제에 대한 글쓰기 연습을 통해 사회생활에 필요한 기본적인 사고력과 표현력을 함양하는 것(실용적 목적)이고, 다른 하나는 각자의 분야에 소속된 예비 연구자로서 요구되는 학술 활동 역량을 기르는 것(학술적 목적)이다. 실제로 많은 대학에서는 이 두 가지 목적이 대학생에게 필요한 기초 능력을 배양시킨다는 믿음 하에 <학술적 글쓰기>, <대학 글쓰기>, <교양 글쓰기> 등 다양한 이름의 글쓰기 교과를 필수 교양으로 지정한다. 두 목적의 양립 가능성에 대해서는 이견이 있을 수 있으나, 어떤 경우에도 학습자들에게 ‘비판적 사고능력’ 또는 ‘논리적 사고능력’이 필요하다는 사실을 부정할 수는 없을 것이다. 이러한 배경에서 본 연구는 비판적, 논리적 사고의 함양을 목표로 하는 글쓰기 교과 수업에서 적용 가능한 한 가지 모형을 제안하고자 한다.
위의 목적을 달성하기 위해 교수자는 자신의 생각을 형식 논리에 기반 한 글로 구체화하는 과정의 논증 기반 글쓰기를 도구로 선택할 수 있다. 이 과정에서 학습자는 논증 분석 및 구성, 그리고 그 구현을 배우게 되는데, 이 모든 것은 자신의 생각을 타인에게 설득한다는 목적을 달성하기 위한 수단이다. 따라서 글쓰기 수업의 목표는 표면적으로는 ‘글’이라는 표현 형식을 교육하는 것이지만, 더 거시적인 관점에서는 주장의 입증 및 정당화 활동을 학습시키는 것이라고 할 수 있다. 하지만 논증 중심의 이론적, 형식적 수업으로 과연 학습자의 설득적 능력을 실질적으로 향상시킬 수 있는지는 의문이다. 학습자의 관점에서 이론적으로 습득하게 되는 글에 대한 논리적, 형식적 지식과, 자기 주장을 정당화하기 위한 글을 작성하는 저자의 관점에서 발휘해야 글쓰기의 실질적 역량이 일치한다고 할 수 없기 때문이다. 그러므로 교양 글쓰기 수업에서는 글쓰기 결과에 대한 형식적 평가와 이에 연관된 지식을 일방적으로 가르치는 것 못지않게, 글을 실제로 쓰고, 그 과정을 스스로 반성할 기회를 제공하는 것이 더욱 중요할 것이다.
대학 교양 글쓰기 교과에 대한 이러한 문제의식으로부터, 본 논문은 학습자의 논증적 글쓰기 능력을 향상시키기 위한, 글쓰기 과정에 대한 집단적 자기 피드백, “과정 중심의 동료 평가 모델(Process-Oriented Peer Review Model)”을 제안한다. 이 제안의 특징은 다음의 두 측면이다. 첫째, 이 모델에서는 교수자가 아니라, 학습자들이 토론을 통해 서로를 평가하며, 둘째, 이때 중점적인 평가 대상은 학습자들의 글쓰기 결과물이 아니라, 그 결과물에 대한 그들의 평가 내용이다. 즉, 이 모델에서 학습자들은 평가 과정에 대한 평가를 수행한다. 이는 보다 구체적으로는 피드백 기준을 평가하기 위한 집단 평가로 수행된다. 학습자들은 자신의 기준에 입각하여 동료의 결과물을 평가하고, 나아가 그 기준을 가지고 토론함으로써 집단적으로 평가한다. 각자의 평가 시도 이후에 하나의 평가 결과에 합의해야 하므로, 이 집단 평가 과정에서 학습자 각자는 개별적 평가에서 어떤 기준들을 어떤 비중에 따라 고려했는지 설명하고 이러한 시도를 서로에게 정당화해야 한다. 이 과정을 통해 학습자는 다른 학습자와의 평등한 관계에서 능동적으로 자신의 평가 과정과 그 관점에 대해 논쟁적이면서도 반성적으로 성찰할 기회를 얻게 되리라 기대한다.
2. 글쓰기 수업 내 동료 평가 활동 도입의 필요성
2.1. 결과 중심 교수자 피드백의 한계
대학 교양 글쓰기 과목에서 학술적 목적이 강조될수록, 글을 구조화하고 논리적으로 전개해 나가는 형식적 측면이 강조되는 경향이 있다. 하지만 이러한 지식을 통해 학습자들을 곧바로 실질적인 글쓰기 역량의 향상으로 유도할 수 있는지는 의심스럽다. 논증적 글은 자신의 입장을 설득하기 위한 것이므로, 글쓰기에서 본질적으로 중요한 요소는 타당한 형식을 지키는 것이 아니라, 자신의 입장을 제시하고, 정당화하며, 결과적으로 이를 독자들에게 설득할 수 있도록 논리를 실질적으로 활용하는 것이다.1) 실제로, 대부분의 학습자는 형식을 습득하는 단계보다 그 이후의 적용, 그러한 형식을 실질적으로 활용하여 자신의 주장을 글로 표현하는 과정에서 더 큰 어려움을 겪는다. 논증의 형식에 대한 지식은 그것이 설득을 위해 활용될 수 없다면 반쪽짜리에 불과하다.
학습자가 자신의 견해를 정당화하며 이론적 내용을 적용하고 있는지 확인하기 위한 방법으로 가장 먼저 떠올릴 수 있는 것은 각 학습자의 글쓰기 결과물을 교수자가 개별적으로 평가하고 피드백을 제시하는 것이다. 글쓰기 교과의 내용은 결코 정형적이지 않으므로, 다수의 학습자를 대상으로 하여 일괄적으로 수행되는 이론적 강의에 비해, 그 개개인의 수준에 맞추어 각자의 문제점을 지적하고 개선점을 제시할 수 있는 교수자 피드백이 더 정성적인 접근을 가능케 하기 때문이다. 하지만 교수자 평가 모델 일반이 결과적으로 학습자들의 학습 수준을 확인하고 그 결과물을 개선하는 수준을 넘어서 글쓰기 역량을 실질적으로 향상시킬 수 있는지는 의심스럽다. 이 모델은 교수자에 의한 학습자의 과제물에 대한 평가를 중심으로 한다는 구조적, 본질적 취약성을 갖기 때문이다.
먼저, 그것이 과제물에 대한 평가인 한, 이는 그 결과물에 대한 평가, 즉 학점을 결정하는 절차에 해당한다는 점을 넘어서기 어렵다. 그 결과, 교수자 평가는 결과물에 초점을 맞추어 학습자들의 과제물 간 우열을 가리고, 한정된 자원인 학점을 배분하는 교과 마무리 단계로 전락하기 쉽다. 이러한 방식으로는 학습자가 작성한 글을 통해 그들의 사고와 추론 과정을 스스로 확인하고 이해하며, 궁극적으로 각자의 학문적 역량을 향상시키는 과정 중심 수업을 실현하기는 요원한 것처럼 보인다.
더욱이 각자의 견해를 평등한 입장에서 자유롭게 비판할 수 있는 학문 공동체에서의 작업과 달리, 교수자-학습자의 관계는 결코 평등하지 않다. 교수자는 학적 전문성과 더불어 수강생의 학점을 결정할 권한을 갖기에, 학습자는 교수자의 피드백을 다시 비판될 수 있는 또 다른 의견이라기보다, 보다 높은 학문적 권위로부터 내려오는 반박 불가능한 가르침으로 받아들이기 쉽다.2)
마지막으로, 해당 문제점들을 오로지 교수자의 역량만으로 극복하기 위한 시간과 자원이 충분히 주어지지 않는 환경 또한 큰 걸림돌이다. 실제로 많은 연구에서 교수자의 개별 피드백이 교수자에게 과도한 수고가 요구된다는 점을 호소한다.3)
위와 같은 문제점을 극복할 수 없다면, 교수자 피드백은 학습자에게 학문 공동체에서 일어나는 의견 교환에 대한 경험을 통해 논증을 통한 정당화 활동에 접근하는 계기라기 보다는 의무교육 과정에서 이미 익숙해진 일방적 수업의 또 한 번의 반복으로 경험되기 쉽다.
기존 교수법의 한계가 뚜렷한 만큼, 그 대안인 ‘동료 평가’를 학습자의 자율성과 글쓰기 실효성을 제고하기 위한 학습법으로 주목해야 한다. 이는 수업 내에 학문 공동체를 구현하여 학습자의 능동적 참여를 촉진하는 한편, 교수자가 수업을 효율적으로 운영할 수 있도록 돕는다. 이러한 시도가 이론 강의 및 교수자 피드백과 함께 유기적으로 적용할 수 있다면, 학습자에게 학술적 설득 과정을 경험케 함으로써 교육을 질적으로 향상할 수 있을 것이다.
2.2. 동료 평가의 개념과 교육적 효과
‘동료 평가(Peer Review, Peer Assessment)’ 혹은 ‘동료 피드백(Peer Feedback)’은 비슷한 지위의 학습자가 다른 학습자의 글, 작품, 발표, 집단 활동, 치료나 상담과 같은 전문 기술 등 평가 대상이 될 수 있는 모든 결과물이나 수행 과정에 대해 성과의 양, 수준, 가치, 장점, 질, 또는 성공 여부 등에 대해 점수를 부여하거나 의견을 제공하는 활동을 의미한다(Topping, 1998; 박주용, 박정애, 2018). 글쓰기 교과의 맥락에서 보자면 동료 평가는 함께 수업을 듣는 학습자가 다른 학습자의 글이나 에세이 등 여러 종류의 텍스트에 대해 점수를 매기거나 의견을 제공하는 평가 과정에 해당한다(김남미, 2009).4)5)
여러 정의에서 드러나듯이, 동료 평가 모델 일반에서 ‘평가자’, ‘피평가자’, ‘평가 대상’은 필수적 요소다. 피드백의 관점에서, 평가자는 피드백 제공자, 피평가자는 피드백 수용자다. 평가자와 피평가자는 반드시 같은 집단의 구성원이 아니더라도 수업과 관련된 학습자들이어야 하며, 평가 대상은 대개 피평가자가 작성한 글이나 에세이가 된다.6)
글쓰기 교과를 포함한 대학 수업에서 동료 평가의 효과는 크게 두 가지 측면에서 발견된다. 첫째, 이는 교수자 주도의 일방적인 학습자 평가에서 오는 평가 부담을 교수자로부터 덜어준다(Black et al., 2003; Sadler & Good, 2006; 김남미, 2009; 박주용, 박정애, 2018). 둘째, 평가에 참여하는 학습자들에게 교육적 효과를 발휘한다(Slavin, 1988; Sadler & Good, 2006; Joordens, Pare & Pruesse, 2009; Tsai & Chuang, 2013; Topping 1998; 2009; Xiao & Lucking, 2008; Di chang et la 2021; Fu-Yun Yu and Chun-Ping Wu 2013; 이지용 2019; 박주용, 박정애, 2018). 동료 평가 외에도 외에 교수자의 평가 부담을 완화하기 위한 대안이 존재하므로, 특히 후자가 동료 평가를 도입해야 할 본질적 근거라 할 수 있다.
이러한 효과를 구체적으로 논하기 위해서는 학습자의 평가 경험이 교수자 피드백을 포함한 교수자 평가의 경우와 어떻게 달라지는지 먼저 살펴볼 필요가 있다. 학습자는 교수자에 의해 평가될 때 이미 피평가자의 역할을 수행한다. 그러므로 교수자가 아닌 다른 학생들에 의해 평가될 경우에 달라지는 것은 피평가자의 역할이 아니라 평가자와 피평가자 사이의 위계 관계다.
여러 연구자가 동료 평가의 평등한 관계가 긍정적 차이를 만든다고 주장한다. 우선, 동료 학습자에 의한 평가는 학습자가 평가에 대해 겪는 심리적 부담을 완화할 수 있다(Kenny & Berman, 1980; 이지용, 2020). 마찬가지 맥락에서 유해준(2015)은, 학습자들이, 이 부담감의 차이로 인해, 교사에 의한 피드백을 무조건적으로 수용하는 경향이 있는 반면, 동료에 의한 피드백에 대해서는 동등한 입장에서 비판적, 선별적으로 수용하고, 그에 대립되는 자신의 견해를 보다 여유 있게 지켜낸다는 점을 제시한다. 평가의 교육적 효과 중에서도 단순히 피드백을 통해 결과물을 개선하는 것보다 피드백에 적절히 반응하여, 수용할 것은 수용하고 반박할 것은 반박하는 과정을 경험하게 하는 것이 더욱 중요하다(유유현, 2016; 이지용, 2019). 부수적으로, 또래의 글에 대한 평가는 학습자에게 글쓰기 동기를 부여하기도 한다(Park, 2017; 김남미, 2009). 그러므로 평가자의 학술적 수준이 피평가자와 비슷하다는 점이 오히려 학술 활동을 실질적으로 체험할 수 있게 도울 수 있는 것이다.7)
학습자가 겪는 심리적, 인지적 장벽을 제거하는 것은 물론 큰 교육적 효과다. 그러나 이보다 더 중요한 동료 평가의 효과는 학습자들이 평가자 역할을 경험한다는 것이다. 물론, 학습자가 바람직한 평가자 역할을 수행하기 위해서는 노력이 필요하다. 최대한 공정하고 객관적인 시각을 유지하며, 또한 동료의 글을 성실하게 평가하기 위해 그 글을 이해하려 노력해야 하기 때문이다.8) 이는 학습자에게 또 다른 부담일 수 있지만, 적절한 활동 설계가 뒷받침된다면 이 과정 자체가 또 하나의 과제로서 학습자가 좋은 에세이가 갖추어야 할 형식적, 실질적 요소들을 자연스럽게 내면화할 계기가 될 것이다.
이렇게 성공적으로 평가자 역할을 수행하게 된다면, 이는 학습자에게 자기 글을 개선하는 과정이 될 수 있다(김남미, 2009: 155; Brutus & Donia, 2010). 또 이 역할의 또 다른 중요한 가치는, 평가 과정에서 글쓴이와 글의 구분을 시도하게 된다는 점이다. 한 편의 글을 완성하는 과정에서 저자는 자신과 글을 분리하여 객관적 관점에서 자기 글을 돌아보고 개선할 수 있어야 한다. 하지만 이를 위해서는 오랜 훈련이 필요하다. 물론, 교수자 피드백도 이를 위한 방안일 수 있지만, 이 과정에서 학습자는 능동성을 유지하기 힘들기 때문에 연습 효과가 적다. 반면, 동료에 대한 평가자로서는 보다 여유를 갖고 객관적 시각을 유지하고 문제점과 개선점을 확인하려 시도할 수 있다.9)
이 메타 인지 과정을 통해 학습자는 학문 활동의 두 가지 핵심 측면을 경험한다. 첫째는 평등한 관계에서 이루어지는 외적 교류다. 수강생들은 피평가자로서 동료의 피드백을 통해 자신의 글에 대해 소통하면서, 외부의 도움을 받아 글을 발전시켜 나가는 경험을 하게 된다(이지용, 2019). 둘째는 평가자와 피평가자라는 이중적 역할을 동시에 수행하면서 발생하는 글쓰기와 학술 활동에 대한 내적 반성이다(박주용, 박정애, 2018; 김남미, 2023; 김경희, 2023). 성실한 독해 과정에서 학습자는 좋은 글을 쓰기 위한 요소들을 성찰하게 하고, 글을 쓸 때 이를 반영하게 되는 것이다. 이와 같은 효과를 학습자가 동료 평가에서 논리적 지식을 글에 적용하는 방법을 이해하며 또 논증적 글을 질적으로 개선할 수 있다는 신호로 해석해도 좋다면, 동료 평가는 지식 습득 글쓰기 작업의 간극을 메우는 효과적 수단이라 할 수 있다.
3. 과정 중심 동료 평가의 목표와 그 수행을 위한 제언
전술한 바와 같이, 동료 평가는 글 안의 논증을 해석, 평가하기 위한 형식적 지식 습득으로부터 실제로 글을 쓰고 이로써 자신의 주장을 다른 이들에게 설득하는 정당화 활동으로 나아가기 위한 방안이다. 그러므로 이 목적에 부응해 그 구체적 모델을 구상해야 한다. 그렇지만 이를 도입하는 여러 연구들은 여전히 동료 평가의 신뢰도, 보다 정확히는 교수자 평가와의 일치율에 대한 입증을 겨냥함으로써, 학습자가 경험하는 동료 평가의 과정에 대한 반성보다는 각자의 글쓰기 결과물에 대한 평가에 치중한 모습을 보인다. 하지만 결과물 중심의 평가 일치 확인은 그 자체로는 교수자 평가 결과와 동료 평가 결과 사이에 큰 차이가 없음을, 즉, 큰 무리 없이 전자를 후자로 대체할 수 있음을 입증할 따름이다. 이는 동료 평가의 도입을 정당화할 수 있을지라도, 그것이 어떤 기존 평가와 차별화되는 효과를 가지는지, 그리고 이를 어떻게 북돋을 수 있을지를 보이지는 않는다. 그러므로 동료 평가를 통해 그 본연의 목적을 달성하기 위해서는 단순히 그 신뢰도가 높다는 사실, 혹은 이를 통해 학습자 평가 신뢰도를 향상시킬 수 있다는 사실을 보이는 것을 넘어서, 이러한 결과가 실제로 평가자로서의 높은 역량을 반영하는지 내지는 그 역량 향상이 학술적 능력과는 어떤 연관이 있는지를 논해야 한다. 따라서 이 절에서는 동료 평가에 대한 기존의 연구를 분석함으로써 동료 평가만의 특장점을 드러내고 이를 제고하기 위해 고려해야 할 점을 조명하려 한다.
3.1. 과정 중심 동료 평가의 목표
이지용(2019)은 동료 피드백 모델과 교수자 피드백 모델을 각각 채택한 수업을 진행한 뒤, 각 수업에서 제출된 에세이의 점수를 비교하는 연구를 수행했다. 그는 교수자 피드백 모델과 동료 피드백 모델을 각각 “결과 중심 수업”과 “과정 중심 수업”으로 명명한다. 이는 그가 이 두 모델을 서로 다른 목적을 가진 수업 모델이라고 보면서도, 동시에 하나가 다른 하나를 대체할 수 있는 대안으로 본다는 점을 암시한다. 그러한 한에서, 이 설계는 동료 피드백 모델의 도입을 정당화하는 결과물 중심 신뢰도 연구에 해당한다. 따라서 이러한 동료 평가 모델은 글쓰기 결과에 대한 기존의 피드백을 상당한 신뢰도로 대체 달성할 수 있어야 할 것이다. 그럼에도 불구하고 해당 논문은 두 모델의 차이를 무시한 채 피드백 결과를 비교하고, 결국 동료 평가의 효과를 크게 부각시키지 못하여, 이 비교로부터 학습자 태도 개선만을 확인했다고 보고한다.
하지만 이 연구는 한 가지 시사점을 준다. 저자는 동료의 피드백에 대해 교수자에게 질의할 것을 지시한다. 이 피드백이 평가 과정의 결과라는 점에서, 피드백에 대한 피드백은 글에 대한 직접적 피드백보다 과정에 더 초점을 맞춘 피드백이라 할 수 있다. 이를 과정에 대한 피드백으로서 평가 능력의 향상을 목표했다면, 학습자들의 평가 역량을 향상시키는 과정일 수 있을 것이다. 하지만 이지용은 그 도입 목적을 “교정 받은 내용 중에 이해되지 않은 부분은 그 교정을 해 준 사람에게 물어보거나 교사에게 물어볼 수 있도록 하였다. 동료 피드백을 쓰기만으로 구성하지 않은 것은 학습자가 고쳐줄 능력이 충분하지 않기 때문에 생기는 오류를 줄이고자 함이(이지용, 2019: 492)”라고 설명한다. 이 경우 피드백에 대한 피드백은 학습자의 평가 역량 부족 때문에 피드백이 결과물을 충분히 향상시킬 수 없는 경우에 대한 보완으로 도입된 것이며, 따라서 과정에 대한 피드백은 보완적 수단으로, 주변적으로만 다루어진 것에 불과하다. 그러므로 이는 그가 동료 피드백을 통한 수업을 ‘과정 중심 수업’이라 명명하면서도, 여전히 과정이 아닌 결과에 초점을 맞추어 수업을 진행했다는 점을 보여준다.
김민정(2005)은 이러한 맥락에서 주목할 만한 연구 모델을 제시한다. 이 연구에서 주목할 만한 점은, 동료 평가의 상호작용이 학습자에게 미치는 효과를 추적하기 위해, 피평가자에게 피드백에 대한 피드백, 연구자의 명명에 따르면, “백피드백”을 제공할 것을 지시했다는 것이다. 이때 평가자는 기존의 평가자와 같은 역할이 아니며, 해당 연구에서는 기존의 평가자, 피평가자라는 용어를 사용했지만, 본 논문에서는 이 평가자와 피평가자를 각각 ‘결과-평가자’와 ‘피드백-평가자’로 부르겠다.
김민정은 이 두 역할의 효과를 측정하기 위해 검사 집단을 두 역할을 모두 수행하는 집단, 그리고 각각의 역할을 하나씩 수행하는 두 집단, 마지막으로 어떤 역할도 수행하지 않는 집단으로 나누어 수업을 진행했다. 상호작용의 효과에 대한 기대와 달리 학업 성취가 가장 뛰어난 집단은 피드백-평가자 역할만을 수행한 집단이었다. 이 결과를 연구자는 피드백-평가자 역할은 학습에 대한 초인지적 인식과 학업 성취를 증진하는 데 도움이 되지만, 결과-평가자 역할은 그렇지 않다고 해석한다. 그러나 이 연구에서 특히 흥미로운 점은 피드백-평가자들에 대한 다음 보고다:
흥미로운 점은 피평가자들의 백피드백을 자세히 살펴보면, 주로 평가자의 피드백에 대하여 동의하지 않는다는 부정적인 내용을 남긴 피평가자의 백피드백이 긍정적인 백피드백을 작성한 피평가자의 백피드백보다 정교하고 논리적이었다. 이는 피평가자 중 평가의 준거나 학습 내용을 보다 잘 이해한 학습자들은 동료 학습자의 피드백을 무턱대고 받아들이기보다 평가의 분명한 준거에 비추어 비판적으로 평가자의 피드백을 받아들이는 것으로 이해되어진다. 또 그런 분명한 이해와 논리력은 그들 스스로의 학습에 도움을 주어 보다 나은 학업성취를 보이는 것으로 해석된다(김민정 2005: 20).
부정적 백피드백이 갖는 이러한 경향은 인상적이지만, 그에 대한 해석은 아쉬운 부분이 있다. 연구자는 부정적 백피드백이 보이는 질적 특성을 다시 학습자 개개인의 학습 내용에 대한 이해 차이로 환원한다. 하지만 백피드백이 학습 모델의 일부임을 고려하면 반대로 해석할 수 있을 것 같다: 해당 학습자들은 부정적 백피드백을 작성하기 위해, 즉 각자가 받은 피드백에 반박하기 위해 그 피드백이 전제하는 기준을 추론하고 그 대안으로 자신의 기준을 보다 정교하고 논리적으로 제시해야 했고, 그 과정에서 결과적으로 학습 내용을 더 분명히 이해할 수 있었다. 즉, 부정적 백피드백은 긍정적 백피드백과 달리 피드백-평가자들에게 가상의 논쟁을 강요했고, 이를 통해 그들의 역량을 더 효과적으로 향상시킨 것이다.
박정애와 박주용(2019)의 연구 보고는 결과-평가와 피드백-평가라는 두 모델의 효과 차이를 뒷받침하는 사례로 참고할 수 있다. 연구자들은 평가 수행 방식이 평가 능력을 얼마나 향상시킬 수 있는지 비교했다. 이를 위해 평가 집단을 셋으로 나눠 각자 세 차례의 평가를 실시했는데, 변인이 되는 것은 두 번째 평가였다. 이 때 한 집단은 평가 대상에 대한 전문가의 평가를 참고했고, 두 번째 평가는 조별로 토론한 후 평가했으며, 마지막 집단은 모든 평가를 홀로 수행하도록 했다. 마지막 집단의 평가는 세 차례 모두 대동소이한 정확도를 보였고, 전문가 평가를 참조한 집단은 해당 차례에서 가장 정확하게 글들을 평가하고 세 번째 평가에서는 다시 첫 번째 평가와 크게 다르지 않은 정확성을 보였지만, 토의를 거친 집단은 두 번째 평가에서 평이한 결과를 보인 데 반해 세 번째 평가에서 높은 정확도를 보였다. 또 각 토론이 더 활발하게 진행될수록 참여자들의 정확도도 유의미한 상관관계를 갖고 상승하는 것이 확인되었다.
연구자들은 이 연구 결과에 대해, 학습자들이 평가에 대한 “토론 동안에 평가에 대한 준거의 내면화가 일어나고, 전혀 다른 글을 평가하게 될 때 그 준거들을 적용할 수 있도록 전이가 나타난 것으로 보[이며]”(188), 또 “토론을 통해 학생들은 자신의 관점을 만들도록 격려받게 되고, 동료들의 의견을 통해 다른 관점을 고려할 수 있[으며]” (192), “동료평가 후 평가 기준에 대한 토론 과정을 통해, 학생들은 글쓰기의 평가체계를 깨닫고, 본인의 잘못된 점을 바로잡을 수 있었던 것으로 보인다. 당장 그 평가 준거를 적용시키는 못했지만, 다른 글을 평가하게 되었을 때는 그 평가 준거들을 내면화시켜 적용할 수 있었다” (193)고 해석한다. 즉, 동료평가를 위한 토론을 통해 학습자들의 평가 능력이 실질적으로 향상될 수 있음이 확인된 것이다.
그렇지만, 이 연구는 피드백-평가가 평가 능력에 미치는 효과를 보고할 뿐이다. 하지만 이것만으로 평가 역량 향상이 곧 학술적 역량의 실질적 향상이라고 간주할 수는 없다. 이와 같은 맥락에서 김남미(2023)의 연구를 참고할 수 있다. 여기서 연구자는 자기 피드백 유도를 위한 모델을 제안한다. 동료 평가 모델이 학습자 간의 상호 작용을 통해 교수자 피드백이 갖는 일방성을 극복할 수 있는 것은 사실이지만, 이를 보다 실질적인 학습 효과로 전이시키기 위해서는 과정에서 학습자의 자기 피드백을 유도해야 하기 때문이다. 이러한 연구 동기는 학습자가 동료 평가 과정에서의 평가 기준들을 반성할 수 있다면, 즉, 각자 평가 능력을 스스로 제고할 수 있는 능력을 갖춘다면, 학습 이후에도 실질적이고 장기적으로 글쓰기 능력을 향상시킬 수 있음을 시사한다. 앞서 언급된 논쟁적 백피드백은 이러한 관점에서 피드백-평가자가 주어진 피드백을 비판할 수 있는 평가 기준을 결과-평가자와의 간접적 토론, 즉 가상의 토론자를 둔 자기피드백을 통해 내면화했고, 그것이 결과적으로 글쓰기 과목에서의 학업 성취 향상, 실질적인 역량 제고에 기여했음을 방증한다.
자기 피드백의 학습 효과는 동료 피드백이 단지 평가 과정을 학습자에게 일임하기 위한 수단이 아니라, 이를 통해 각자가 자신과 동료의 학습 과정에 대해 반성할 수 있는 계기를 마련해 주어야 함을 보인다. 특히 이러한 관점에서 김민정이 보고한 부정적 백피드백과 높은 학업 성취의 관계를 논쟁적 피드백-평가가 결과-평가자에 대한 간접적 토론이라는 형태의 자기 피드백에 근거한 것으로 이해한다면, 이러한 토론의 직접적 유도를 결과 중심 평가와 구분되는 과정 중심 동료 평가의 고유한 목적으로 삼을 수 있을 것이다.
3.2. 평가 토론을 유도하기 위한 고려
앞서 과정 중심 평가는 학습자들이 토론을 통해 평가 과정에서 자신의 평가 과정을 반성하는 계기를 제공하는 것을 목적으로 해야 함을 주장했다. 그러므로 과정 중심 동료 평가 모델을 구체적으로 설계할 때, 평가를 둘러싼 토론과 그 반성을 어떻게 유도할 수 있느냐는 문제를 고민해야 한다.
강경희(2023)로부터 이 토론을 효율적으로 진행하기 위한 실마리를 찾을 수 있다. 이 연구는 정량적, 정성적 동료 피드백을 모두 수행한 후 그 피드백의 질을 측정하는데, 정량적인 피드백의 질은 유의미하게 측정한 반면, 정성적 피드백의 경우는 그렇지 못해 단지 이를 유형별로 구분하는 데 그친다. 이 결과는 동료 평가의 토론 방식에서 고려해야 할 문제가 무엇인지를 던져준다. 평가에 대한 토론은 특성 상 정성적인 주제를 다룰 수밖에 없다. 특정한 평가 결과를 위한 근거가 또 다시 정량적일 수는 없기 때문이다. 하지만 강경희의 연구는 정량적 피드백에 대한 평가를 면밀히 수행될 수 있는 데 반해, 정성적 피드백에 대한 평가는 전문 연구자에게도 쉽지 않음을 보여준다. 그러므로 피드백에 대한 평가의 내용이 정성적이라 할지라도, 학습자가 이를 진행하기 위해서는 정량적 목표를 가져야 한다.
보다 구체적으로, 토론자들은 결과물들을 정량적으로 평가하고 그 사이의 우열을 가리며, 그 결과에 합의할 수 있으며 또 합의해야 한다. 그런데 이 합의 과정에서 토론자는 서로에게 자신의 평가 과정을 밝혀야 한다. 이 평가 과정에서 서로의 사유 과정, 즉, 평가의 기준들이 드러나게 된다. 정량적 평가가 이러한 정성적 측면에 접근하는 계기로 작용하는 것이다. 더욱이, 이러한 평가에 대한 논쟁이 치열할수록 서로는 자신을 정당화하기 위해 그 기준들을 더 깊이 반성하게 될 것이라 기대된다.
이러한 토론의 효과를 기대하기 위해서는 그 중심 주제가 평가 기준이 되어야 한다. 이를 유도하기 위해, 그리고 그 이전에 평가가 가능하기 위해서는 평가를 위한 일반적인 기준을 가르쳐야 한다. 그러므로 이 평가 기준을 어떻게 습득하느냐는 것이 과정 중심 동료 평가의 핵심일 수 있다. 이에 답하기 위해, 먼저 유해준(2015)과 배수정 및 박주용(2016)의 상이한 연구 결과를 비교해보자. 유해준은 동료 평가를 헐거운 기준의 인상 평가와 세세한 기준을 설정한 세부 평가로 차례차례 실시하여 그 결과를 비교했고, 후자의 평가 결과가 더 정확할 뿐 아니라 학습자에 대한 교육적 효과도 좋았다고 평가했다. 반면, 배수정과 박주용은 오히려 첫 번째 시도에서 세세한 기준을 두고, 그 이후 그 기준들을 포괄하는 차원만을 여유 있게 제시함으로써, 보다 자유로운 평가가 가능하도록 조정했는데 이때 오히려 정확도가 상승했다.
이 상이한 결과는 진정한 의미에서의 평가 역량 향상을 위해서는 외부의 기준을 세밀하게 익히는 것보다, 평가 기준을 자기화하며 스스로 활용할 수 있어야 함을 시사한다. 더욱이 배수정과 박주용의 연구는 학습자가 기준의 자기화를 통해 오히려 더 교수자의 기준에 부합하게 평가할 수 있음을 보인다. 그러므로 평가 기준을 자기피드백을 통해 내면화하는 것은, 단지 교수자로부터 학습한 평가 기준을 분명히 암기한다는 것과는 구분되어야 한다. 평가 기준의 세밀함보다 그것을 활용할 수 있도록 자기화하는 것이 더 중요한 것이다.
Topping(2009)은 이를 가장 두드러지게 지적한다. 여기서 연구자는 동료 평가를 위한 기준을 학습자들과 함께 만들 것을 제안한다.10) 이 시도는 동료 평가의 과정적 측면, 평가 기준을 이해, 활용하는 과정이 기준을 내면화할 뿐 아니라, 자기화함으로써 자기 자신의 기준을 창발적으로 만들어가는 과정이어야 함을 역설한다. 이러한 평가 기준의 자기 건설적인 성격을 고려한다면, 정말로 중요한 것은 형식적인 평가 기준을 정확히 아는 것이 아니라, 자기 자신이 스스로 글을 평가하기 위한 기준을 실질적으로 적용할 수 있는 수준까지 깊이 내면화하는 것임이 다시 확인된다.
이러한 논의들을 정리하자면, 중심의 동료 평가 모델의 목적, 자기 피드백을 유도할 수 있는 평가 과정에 대한 토론을 직접적으로 수행케 하기 위해서는, 정량적 평가라는 가시적 목적을 향한 정성적 토론을 유도해야 한다. 그리고 이러한 토론의 주제가 되는 평가 기준은 교수자의 평가를 충분히 반영하기 위한 목적에서 세밀하게 전달되기보다는, 오히려 학습자의 자율성을 충분히 발휘할 수 있는 해석의 여지를 두고 전달되어야 한다. 이 과정에서 각자가 자신의 기준을 발견하거나, 만들어낼 수 있다면, 그것을 최선의 결과라고 할 수 있을 것이다.
3.3. 과정 중심의 동료 평가를 위한 제언
동료 평가가 결과물에 대한 평가를 중심으로 수행되는 한, 학습자들은 그 최선의 경우에 조차 한 편의 좋은 글을 얻게 될 뿐이다. 동료 평가는 글을 쓰기 위한 방법이 아니라 교과를 지도하기 위한 모델인 만큼, 이때 고려해야 할 것은 글을 쓰는 과정과 그 과정에서의 활동이어야 한다. 논의한 바와 같이, 이러한 활동에서 중요한 것은 단지 글을 중심으로 한 학습자 간의 상호작용을 유도하는 것에 그치지 않고, 학습자 각자가 자기 자신의 평가 기준을 내면화 하도록 유도하는 것이다. 이는 단지 교수자가 글쓰기를 위한 형식적인 기준들을 가르치고, 이를 학습하는 것만으로는 부족하고, 무엇보다도 각자가 평가자로서 갖고 있는 기준들을 서로 논쟁적으로 비교하고, 이 과정에서 그 기준들을 객관화하는 동시에 자기화하는 정당화 작업을 수행해야 한다. 이를 위해서는 학습자 간의 기준에 대한 토론이 적합하며, 이를 논쟁적으로 유도하기 위해서는 단지 서로의 기준을 정성적으로 평가할 뿐 아니라, 결과적으로 글들에 대한 정량적 평가에 합의하도록 해야 한다. 학습자 집단 각각이 자신의 글을 어떤 기준으로 어떻게 정량적으로 평가할지는 열려 있지만, 그들은 모두 글들을 그렇게 평가해야 하며, 그 과정에서 각 집단의 학습자들은 자신의 동료들과 함께 그 집단의 기준들을 만들어 나갈 수 있고 또 과제를 수행하기 위해 그렇게 해야만 한다. 그 과정은 그 때마다 달리 일어나겠지만, 결과적으로 각 학습자는 자신에게 주어진 기준들을 단지 활용할 뿐 아니라, 이를 새롭게 재정의하는 과정을 거쳐 내면화하고 자기화할 수 있으리라 기대된다. 이러한 분석에서 본 논문에서는 다음과 같은 제언을 고려하여 동료 평가가 수행되는 것이 바람직한 방향일 것이라 전망한다.
i. 동료 평가의 목적: 동료 평가는 글 쓰기의 결과물이 아니라 학습한 기준을 각자 명확히 이해하고, 그 기준에 따라 평가하는 평가 과정 전체를 대상으로 해야 한다.
ii. 동료 평가의 형태: 이러한 평가는 소규모 토론으로 서로의 기준을 비판적으로 숙고할 수 있게 해야 한다. 이는 상대의 기준을 비판할 뿐 아니라, 자신의 기준을 점검하는 계기가 될 것이다.
iii. 동료 평가의 방법: 이러한 목적을 이루기 위해 평가를 위한 토론은 정성적 측면 뿐만 아니라 정량적 측면에서 함께 이루어져야 한다. 동료 평가의 과정은 정성적일 수밖에 없지만, 그 차원에 그칠 경우 학습 효과를 위해 필요한 논쟁을 끌어내기 어려울 것이다.
4. 동료 평가 학습 모형: S 대학 학술적 글쓰기 수업 사례 연구
4.1. 동료 평가 활동을 위한 예비 사항
본 연구에서 “과정 중심의 동료 평가 모델”이라는 이름으로 제안하고자 하는 것은, 학습자가 평가자로서의 경험을 통해 ‘논증적 글쓰기’가 갖추어야 할 기준들에 대해 숙고하고 나아가 그것을 타인에게 정당화하는 과정을 통해 스스로 그 기준을 체득할 수 있다는 것이다. 논증적 글쓰기의 이론과 실제 사이에 간극이 있다는 것이 연구의 문제의식인 만큼, 이 모델은 이 문제를 해결하기 위한 대안으로 제기된다. 앞서 논의한 바와 같이, 주관적 의견에 대한 상호 정당화 시도를 통한 기준의 내면화는 학습자의 글쓰기 능력 제고에도 큰 도움을 줄 것이기 때문이다. 그렇다면 이 모델은 실제 글쓰기 교과에 어떻게 적용될 수 있을까? 나아가 이 모델이 목표하는 지점을 달성하는 과정에서 보완되어야 할 측면은 무엇인가?
이에 답하기 위해 S 대학 교양 글쓰기 교과의 한 모듈(총 2회 진행)로 진행했던 동료 평가 활동을 보고하고자 한다. 전술한 일반적 고려 사항들이 해당 수업 내에서 모두 적용된 것은 아니나, 이 사례는 “과정 중심의 동료 평가 모델”이 실제 수업 현장에서 어떠한 방식으로, 구체적으로 적용될 수 있으며 나아가 그 효용과 개선점이 무엇인지 확인할 수 있다는 점에서 의의가 있다. 특히, 3절의 제언인, 동료 평가의 목적, 형태, 방법이 적용될 수 있도록 설계되었다.
기존의 동료 평가는 일반적으로 정량 평가 방식을 채택하여 수행된다(김남미, 2009; 유해준, 2015; 이지용, 2019; 장지혜, 송지언, 2019). 그러나 본 연구가 주목하는 바처럼, 학습자가 자신의 글쓰기 기준에 대해 숙고하고 점검하는 경험이 글쓰기 능력 향상에 본질적이라고 한다면, 동료 평가는 글쓰기 결과만을 반영하는 평가의 정량적 측면만으로는 그 목적을 달성할 수 없다. 앞서 제안한 바와 같이, 학습자가 각자의 기준을 정당화하는 과정은 정량적 측면보다는 정성적 측면과 더 깊게 관련되기 때문이다. 따라서 이 사례에서 학습자는 조별 토론이라는 과정을 통해 정량 평가와 정성 평가를 모두 수행하되, 특히 정량 평가가 정성적 토론과 평가를 유도할 수 있도록 설계되었다. 교수자는 학습자에게 평가와 관련된 일반적 지침을 제시하긴 하지만 그 세부 항목별 가중치를 제시하지는 않았고 학습자들은 조별 논의를 통해 결과적으로는 정량 평가를 실시하지만 반드시 합의에 따른 그 ‘이유’를 제시해야 한다는 점에서 토론은 정성적 측면을 중심으로 진행되도록 했다.
S 대학의 필수 교양11) 인 ‘학술적 글쓰기’는 대개 인문사회계열 1학년 학부생을 대상으로 개설되며 일주일에 두 번 75분씩 오프라인으로 진행된다. 이 수업은 학술적 관점에서의 글 읽기와 글쓰기 학습을 목표로 이루어진 ‘요약 활동’, ‘논평 활동’, ‘에세이 작성’이라는 세 단계의 점진적 체계를 가지며, 구체적 수업은 이러한 계획에 근거하되 상당 부분 교강사의 재량에 따라 진행된다.12) 연구자가 동료 평가 활동을 진행했던 분반의 경우, 전체 35명의 학습자들로 구성되었으며 대다수는(1학년 34명, 4학년 1명) 전공이 정해지지 않은 1학년 학생들이었다.
모든 수업은 이론적 강의와 조별 실습 활동으로 이루어졌다. 일주일에 이틀 진행되는 수업 중 하루는 학술적 글쓰기 일반에 관한 이론 강의가 진행되었고 나머지 하루는 여러 텍스트의 분석 및 논평과 관련된 조별 실습 활동으로 이루어졌다. 학기 초에 무작위 방식으로 편성된 조가 학기 내내 유지되고 여러 차례의 실습으로 조별 활동이 누적적으로 진행되었기 때문에, 학생들은 동료 평가 활동을 조별로 수행하는 것에 대한 거부감이 없었다.13)
[그림 1]은 <학술적 글쓰기> 수업의 전체 구조에 따라 단계 별로 학생들이 수행해야 하는 각 활동들을 보여준다. 진행된 수업에서 학생들은 ‘요약 활동’과 ‘논평 활동’을 통해 여러 주제의 텍스트를 접하며, 근거로 주장을 뒷받침하는 논증화 과정의 중요성, 여러 유형의 논증 방식, 나아가 논증 분석 및 평가 방법에 대해 체계적으로 학습하게 된다. 본 수업은 이중 “논평형 에세이” 작성 단계에서 “동료 평가 활동 모델”을 적용했다.
전체 에세이 단계에서 학생들은 총 3회의 에세이를 작성하게 되는데, 그 중 2회는 모든 학생에게 동일하게 제공되는 2장 분량의 짧은 칼럼을 읽고 논증적 구조를 갖춘 논평형 에세이를 작성하는 과정이다.14) 동료 평가 활동은 [그림 2]와 같이 학생들이 논평형 에세이를 개별적으로 작성한 뒤에 수행된다. 학생들의 첫 번째 논평형 에세이 작성 과정이 완료되고 나면, 교수자는 이 에세이들을 익명화하여 조별로 배분하고 동료 평가를 진행하도록 한다. 여기서 학생들은 조별 논의를 거쳐 다른 조 학생들의 에세이 5편을 정량적으로 평가하고 최우수 에세이를 선정한다. 이 때 중요한 것은 모든 평가에 ‘합의에 이르게 된 이유’를 제시해야 한다는 사실이다. 에세이 5편에 대한 점수 부여 및 최우수 에세이 선정이라는 정량 평가는 그에 합당한 이유의 제시라는 정성 평가를 수행하도록 하는 동기로서 설계되었다.
연구자는 학생들이 개별적 글쓰기를 통한 정당화 활동을 시도한 후, 글쓰기에 관한 자신의 기준을 타인에게 설득하고 타인의 기준과 비교함으로써 이를 반성하여, 각자의 정당화 기준에 대한 내면화, 자기화가 이루어질 수 있다고 예측했다. 이러한 자기반성이 성공적으로 이루어질 수 있다면, 이는 향후의 정당화 시도에서 더 숙달된 기준을 통해 더 설득력 있는 논증을 제시할 수 있을 것이다.
각 에세이에 대한 조별 동료 평가와 별개로 교수자 평가 또한 실시하는데, 이는 동료 평가 모델에 필수적인 부분은 아니다. 하지만 이 수업을 진행하는 과정에서, 이후 학생들에게 개별적 피드백을 제공하기 때문에, 이 때 적절한 피드백을 제공하기 위해 필요한 과정이었다. 조별 동료 평가는 개별 에세이 작성과 개별 피드백 제공 사이의 중간 단계로, 학생들에게 자신의 글을 다면적 차원에서 점검할 기회를 제공한다.
다른 읽기 텍스트에 대해 진행되는 두 번째 논평형 에세이 역시 이와 동일한 과정으로 수행된다.
4.2. 논증적 에세이 작성 관련 지침
학생들이 본격적으로 논평형 에세이라는 이름의 논증적 글을 작성하는 과제의 수행은 앞선 요약 및 논평 실습과 결코 무관하지 않다. 특히, 학생들은 논평 단계에서 각종 실습으로 텍스트를 ‘비판적으로 평가하는 방식’을 습득했기에 논평형 에세이 작성은 이를 실질적으로 글에 적용하는 단계에 해당한다. 즉, 논평 활동의 연장선에 있는 논평형 에세이는 a) 주어진 글에 대해 반박(반대) 혹은 옹호(찬성) 중 한 관점에 입각한 최종 주장(결론)을 제시해야 하며, b) 적절한 근거들을 통해 자신의 최종 주장(결론)을 뒷받침해야 한다는 두 가지 요건을 갖추어야 한다.15) 가령, “전쟁에서 무차별 포격은 정당화될 수 있다”는 주장을 담고 있는 논증적 텍스트에 대해 학습자는 원문과 마찬가지로 해당 주장을 옹호할 수도 있고 “전쟁에서 무차별 포격은 정당화될 수 없다”는 반대 관점을 취할 수도 있지만 어떠한 관점을 취하든 자신의 최종 주장을 뒷받침하는 근거가 반드시 본론에서 논리적으로 제시될 것이 요구된다.
대부분의 학생이 본인의 견해를 드러내는 완결된 형태의 글을 작성하는 것에 익숙하지 않은 만큼, 에세이의 분량은 A4 한 페이지 내외로 한정한다. 분량 제한은 개별 에세이 작성 단계와 조별 에세이 평가 단계 모두에서 중요한 통제 변인이었다. 분량 제한을 통해 에세이 작성 단계에서 학습자가 논증 구조가 더 잘 드러나도록 글을 작성할 것이라 예상했으며, 무엇보다도 이로써 이후 동료 평가 과정에서 평가자 역할을 원활히 수행할 수 있게 되리라 기대했다. 조별 논의 단계에서 평가 대상이 되는 에세이의 분량에 차이가 없다면 학생들은 텍스트의 논증 구조에 더 집중해 평가하리라 판단했기 때문이다. 또한 이미 같은 주제로 에세이를 작성했던 경험이 있었기 때문에, 다른 에세이를 평가하기 위해 특별한 사전 지식이 필요하지 않았다.
<표 1>
논평형 에세이 과제 제출 안내
이러한 일반적 지침 사항을 숙지함으로써, 각 학습자가 전체 구조적, 형식적인 측면에서 최소한의 완결성을 확보할 수 있도록 요구한 것은 내용적 측면에서 자기 견해의 정당화에 더욱 집중하게 하기 위한 목적과 무관하지 않다. 논거를 제시하는 여러 가지 유형과 그 사례들 및 여러 방식의 논증 구조에 대해서는 에세이 작성과 관련된 이론 강의에서 이미 진행한 바 있다. 그러나 정작 학생들이 글을 쓸 때 어려워하는 측면은 이론적인 부분을 어떻게 실제 글에 적용할 것인지, 논증 구조를 어떻게 구성할 것인지 등 정당화 방식과 관련된 문제였다.17)
자기 견해의 정당화는 에세이 과정에서 각 학습자가 그동안의 학습 내용을(요약, 논평) 바탕으로 습득한 바의 실질적 적용에 해당하며, 따라서 이미 논의한 바와 같이 일방적인 교수자 피드백만으로 유도되기 어려운 부분이기도 하다. 같은 주장을 정당화한다고 하더라도, 각 학습자는 이를 문장 간의 논리 관계를 표현하는 과정에서 형식적 논증을 완성해야 하며, 그때 실질적 내용은 제각기 달리 제시할 수 있기 때문이다. 따라서 전체 구조적인 면을 최소한으로 고정하는 한편, 본론 부에서 세부 근거들을 설득력 있게 전개하고 또 글 각부의 내용들이 유기적으로 조직되어 전체의 설득력을 높이는 것에 주안점을 둘 것을 강조했다. 그러나 이 역량이 단숨에 체화될 수 있는 것은 아니며, 따라서 에세이 작성으로부터 이어지는 조별 동료 평가 활동에서 각자의 정당화 기준을 서로 점검하는 연계 과정을 통해서 학습될 수 있다고 판단했다.
본 논문에서는 두 차례에 걸쳐 이루어진 동료 평가 활동 중 첫 번째 사례에 해당하는 논평형 에세이 동료 평가 활동을 보고하고자 한다. 해당 수업에서 학생들에게 첫 번째 과제로 할당한 것은, “동성애는 왼손잡이와 다르게 받아들여져야 한다”는 주장을 정당화하는 한 편의 짧은 칼럼18)에 대한 논평형 에세이를 작성하는 것이다. 이는 논쟁적일 수 있는 주제긴 하나, 사회적으로 중요한 이슈에 해당하기에 학습자들의 흥미를 유발할 수 있는 주제라 판단되었다. 무엇보다도 글 자체에 대한 여러 방식의 논리적 분석이 가능했기에, 학생들이 평소에 가지고 있던 동성애 이슈에 대한 견해를 논리적으로 재점검하거나 반박할 기회를 줄 수 있다는 측면에서도 과제로서 적합한 텍스트였다. 학생들은 이 글을 자유롭게 옹호하거나 반박할 수 있고, 선택한 관점과 상관없이 오로지 논리성과 완결성, 즉 주장하는 바가 얼마나 설득력 있고 완결적으로 제시되었는지를 기준으로 글이 평가된다는 점이 강조되었다.
4.3. 동료 평가 활동의 구체적 진행
총 35명의 학생이 본격적 동료 평가 활동을 위해 5명씩 7조(A, B, C, D, E, D, F)로 편성되었다. 각 조의 구성원은 기존의 요약 및 논평 활동을 통해 서로 간의 유대를 형성한 상태였다. 이들에게는 조별로 교차하여 다른 조 구성원 5개의 에세이를 수업 시간 내에 평가하게 될 것이라 사전에 고지했다. 평가 활동은 75분간 진행되었으며, 에세이 및 심사지 배부 등 준비 단계를 제외하고 실제 평가에 할애된 시간은 약 60분이었다. 수집된 35개의 개별 에세이 과제들은 학생 개인이 소속된 조별로 분류한 뒤, 피평가자를 식별할 수 있는 정보들(조, 이름, 학번)을 모두 삭제하는 대신, 교수자만 식별할 수 있는 방식으로 에세이 고유 번호를 부여했다. 그리고 학습자가 자신의 과제를 평가하게 되는 불공정의 상황이 발생하지 않도록 조별로 교차 배분했다.19) 가령, A조의 구성원들은 F조의 에세이 5편을 평가하고, B조의 구성원들은 E조의 에세이 5편을 평가하는 식이지만, 실제로 평가자들에게는 고유번호가 부여된 에세이만 주어질 뿐, 자신들이 어떤 조의 에세이를 평가하는지 그 출처를 알 수 없도록 설계했다.
평가 활동의 세부 지침은 다음과 같다. 각 조는 배부된 5편의 에세이를 <표 2>의 평가 기준에 따라 평가해야 한다. 평가 기준에는 기존 5가지 논평 요소와 더불어 완결성, 표현력 등 설득력과 관련된 에세이의 질적 요소가 추가되었다. 다만 실제 활동에 있어서 에세이 검토 및 논의 방식(개별/조별 검토 여부, 의견 수렴 시점과 수렴 방법 등)에 대한 구체적 지침은 제시되지 않았다.
<표 2>
동료 평가 가이드라인
모든 조는 <표 2>의 평가 기준에 따라 <표 3>의 심사표를 작성하도록 했다. 심사표는 정량적, 정성적 평가를 포함하며, 두 가지 평가 항목으로 구성된다. 첫째, 5편 에세이에 1~5점의 점수를 부여하고 각 점수 부여는 조별 논의는 거쳐 그 논평 내용에 해당하는 합당한 이유와 함께 제시되어야 한다. 둘째, 그 중 최우수 에세이를 선정하고 그 에세이에 대해서는 보다 상세한 논평을 제시해야 한다.
<표 3>
조별 동료 평가 활동 심사표
| 평가자 (조 번호, 조원 이름) | |||
|---|---|---|---|
| 1. 에세이 5편에 대한 논평 및 총점 | |||
|
|
|||
| 에세이 고유 번호 | 논평 내용 | 점수 (1~5 점) | |
|
|
|||
| 1 | |||
|
|
|||
| 2 | |||
|
|
|||
| 3 | |||
|
|
|||
| 4 | |||
|
|
|||
| 5 | |||
|
|
|||
| 2. 최우수 에세이 선정 | |||
|
|
|||
| 에세이 고유 번호 | |||
|
|
|||
| 평가 내용 | 선정 이유와 긍정적인 점 및 개선할 점 등 상세한 총평 제시 | ||
첫 번째 평가 항목과 관련해, <표 2>의 평가 가이드라인을 제시했긴 했지만, 평가 요소별로 세부 점수를 할당하지 않은 것은 각 요소의 충족 여부가 에세이의 전반적 질을 결정하지 않는다는 판단에 근거한다.20) 본 과정 중심 모델의 핵심 목적은 평가자가 동일 에세이에 대해 그 장단점과 개선점을 면밀히 검토하고, 우수 에세이의 판단 근거를 정당화하는 과정에서 서로의 근거를 경쟁적으로 피드백하는 데 있다. 모든 평가자는 자신들도 이미 동일한 주제에 대해 글을 작성한 바 있기에 나름의 정당화 기준을 가지고 있을 것이고 타인의 글을 평가할 적에도 유사한 기준을 적용할 것인데 이 과정을 통해 자신의 정당화 기준을 타인에게 주장하고, 또 이를 계기로 각자의 기준을 점검할 기회가 될 수 있다. 즉, 특정 에세이가 결과적으로 동료들로부터 어떻게 평가되었는지가 아니라 각 평가자가 좋은 에세이에 대한 자신의 기준을 다른 이들에게 납득시키는 시도가 더욱 중요하다고 판단했다.
두 번째 평가 항목은 앞에서 평가된 5편의 에세이 중 가장 좋은 에세이라고 평가될 만한 하나를 선택하는 것이었다. 최고점 에세이가 최우수작으로 선정되는 것이 자연스러우나, 이 단계에서는 보다 심층적인 논평이 요구된다. 평가자들은 이 과정을 통해 우수 에세이의 필수 요소와 질적 향상을 위한 요건을 실제 사례를 통해 학습하게 된다. 첫 단계가 에세이 간 상대평가에 초점을 맞췄다면, 두 번째 단계는 단일 에세이에 대한 심층 분석에 중점을 둔다.
사실상 이 두 가지 평가 항목은 결과적 정량 평가를 위해 상호 합의를 통한 정성 평가가 병행되어야 한다는 점에 있어서 두 가지 평가 방식이 결합한 형태라 할 수 있다. 정량적⋅정성적 평가의 결합은 본 연구에서 주장하는 제언의 세 번째 측면, 즉 기준에 대한 논의의 촉진이 가능하고 이에 대한 정당화 과정을 통해 학습자의 기준 내면화에 영향을 줄 것으로 예측했다.
4.4. 동료 평가 활동 결과 분석 및 논의
4.4.1. 평가 활동의 진행 과정
실제로 본 활동은 크게 학생들이 평가자로서 에세이 5편의 전체 내용을 숙지하는 ‘검토 단계’와 숙지 된 내용을 바탕으로 의견을 교환하여 결과를 산출하는 ‘평가 단계’로 나뉘었다. 조별로 어떤 방식으로 의견을 취합하고 합의점에 도달해야 하는지에 대해서는 별다른 지시를 하지 않았지만, 대개의 조에서 ‘검토 단계’는 개별적으로, ‘평가 단계’는 집단적으로 활동을 수행했다. 정해진 시간 내에 각자 5편의 에세이를 개별적으로 읽은 뒤, 그 시간이 지나면 함께 논의하여 어떻게 심사표의 내용을 채울지에 관해 상의하는 시간을 가지는 식이었다.
에세이 분량 제한(A4 1~2페이지)은 어느 정도 검토 시간의 통제를 가능하게 했으나, 무작위 배분 방식으로 인해 조별 평가 대상의 질적 편차가 발생하는 것까지 통제할 수는 없었다. 따라서 특정 조에는 비교적 검토하기 쉬운 에세이들이 편중되는 반면, 다른 조에는 검토하기 어려운 에세이들이 편중될 가능성이 있었다. 이에 따라 평가 소요 시간에 차이가 발생할 수밖에 없었는데, 이는 개별 검토 시간과 합의 도출 시간의 변수에 기인한다. 평가자들이 에세이를 개별적으로 검토하는 데 걸리는 시간이 길 수도 있지만 논의를 통해 합의점을 찾아가는 데 걸리는 시간이 길 수도 있는 등 그 사유는 다양했다.21) 60분가량 내에 5편의 글을 읽고 분석하여 상호 논의까지 진행해야 한다는 점이 버겁다는 의견들이 있었지만 과제 글을 달리하여 동일한 방식으로, 2차로 진행했을 때에는 훨씬 시간이 단축되었다는 사실을 감안하면 활동 자체에 대한 미숙지에서 비롯된 것으로 보인다.
학생들이 실제로 가장 어려움을 토로했던 부분은 에세이별로 점수를 부여하고 최우수 에세이를 선정하는 문제였다. 간략한 논평을 제시하는 정성적 평가에서는 각 에세이에 대한 개별적 평가만이 요구되는 반면, 정량적 평가에서는 5편 에세이 간 우열을 가리고 그에 대해 합당한 근거를 제시해야 했기 때문이다. 그래서 경합하는 두 편의 에세이가 있을 때, 왜 특정 에세이를 최우수작으로 선정해야 하는지를 상대방에게 설득해야 하는 문제가 조마다 쟁점이 되었다. 평가 활동의 집단성에 초점을 맞추어, 치열한 논의를 통해 한 평가자의 의견을 수용하는 방향으로 의사결정이 이루어지는 조도 있는 반면, 개별성에 초점을 맞추어 검토 뿐만 아니라 평가까지 개별적으로 수행한 다음 최종적으로만 의견 확인을 하고 평균값으로 결론을 도출하는 조도 있었다. 전자 방식을 취한 조의 경우 상대적으로 의견 조율 및 합의 도출에 오랜 시간이 걸렸지만 그만큼 깊이 있는 분석과 평가가 이루어졌다.22)
4.4.2. 평가 결과 및 분석
총 7개 조의 평가 결과가 수집되었으며, 지시된 대로 각 조는 배분된 5편의 에세이에 대한 평가와 더불어 최우수작을 선정했다. 소수의 에세이를 무작위로 배분했기 때문에 특정 조의 높은 평가가 전체 분반 내 우수성을 의미하지는 않았다. 실제로 학생들에 의해서 수행된 동료 평가 실습지 사례는 [그림 3]과 같다.
평가 결과는 정성적(논평) 및 정량적(총점, 순위) 측면에서 분석될 수 있었다. 우선 정량적 평가 면에서, 조별로 배분된 평가 대상 에세이가 달랐기에 모든 조의 평가 결과를 동등한 선에서 비교할 수 없어도 조별로 교수자 평가와 비교 가능했다.23) 이후에 학생들의 조별 동료 평가(5점 만점)와 별개로 교수자 역시 모든 에세이에 대한 정량 평가(15점 만점)를 수행했다. 동료 평가 결과와 교수자 평가 결과를 비교했을 때 양자 간에 상당한 차이가 있었다.24)
우선, 조별로 5편의 에세이들을 정량 평가한 순위와 교수자가 해당 에세이들에 대해 정량 평가한 순위 간 비교가 가능했다. 양자 간의 평가 순위와 대조했을 때, 7개 조 중 단 2개 조만이 최우수 에세이 선정에서 교수자 평가 결과와 일치했다. 다만 나머지 5개 조에서 선정된 최우수 에세이들이 교수자 평가에서 낮은 점수를 받지는 않았으며, 이 중 4개 조에서 최고로 선정된 에세이는 교수자 평가에서 2위를 기록한 것들이었다.
반대로 가장 낮은 점수를 받은 최하위 에세이에 대해서도 흥미로운 결과를 관찰할 수 있었다. 총 5개 조에서 가장 낮은 점수를 받은 에세이는 교수자 평가에서도 가장 낮은 점수를 받았다. 다른 1개 조의 경우, 가장 낮은 점수를 받은 에세이와 그다음 낮은 점수를 받은 에세이가 교수자 평가에서는 순위 하나 차이가 있었을 뿐 두 에세이 모두 두 평가에서 하위권이라는 점에 있어서는 동일했다. 나머지 1개 조의 경우, 최하위 에세이가 교수자 평가에서는 중위권이었지만 이 조는 모든 조 중 5편 에세이 간 점수 편차가 가장 적었고 또한 이 조는 최우수 에세이 선정에 있어서 교수자 평가 결과와 동일한 2개 조 중 하나였다.
결과적으로 에세이 평가와 관련해 순위상의 작은 차이는 있을 수 있어도 좋은 에세이 및 그렇지 않은 에세이에 대한 판단에서 교수자 평가와 크게 차이 나지 않는다고 추측할 수 있었다. 동료 평가와 교수자 평가 간 차이가 있긴 해도 이러한 평가 결과의 불일치가 동료 평가 활동이 갖는 학습적 가치를 감소시키지는 않는 것으로 추측된다. 무엇보다도 본 논문에서 제안하는 동료 평가의 모델이 과정 중심의 모델인 만큼, 학습자들이 평가자로서 글에 대한 태도를 점검하고 합의를 통해 객관적 판단을 내리는 경험을 한다는 점은 큰 의미가 있다.
그러나 본 논문에서 더 주요하게 고려되는 부분은 정성적 평가 측면이었다. 애초에, 논평 내용으로 구성되는 정성 평가는 순위를 매기고 최우수 에세이를 선정하는 정량 평가를 합리적으로 뒷받침해야 하는 중요한 역할을 수행하도록 설계됐다. 기준들의 분량 제한은 없었기에 저마다 여러 근거가 제시되었지만 그럼에도 불구하고 여러 조들에게 공통으로 발견되는 중요 기준이 있음을 확인할 수 있었다. 다수의 논평 내용은 글 전체 구조의 형식적 측면 이상으로 논거의 적절성, 논리적 전개 등 논증적 글에서 반드시 다루어져야 할 요소이자 본 수업에서 강조하고자 했던 정당화 관련 지점들을 짚어내었다.
구체적으로, 7개 조에서 최우수 에세이에 대한 평가로 주로 언급된 측면은 근거가 설득적이라는 점(4개 조), 가독성이 좋다는 점(2개 조), 그리고 구체적으로 서술되었다는 점(2개 조)이었다. 그 외에 예시가 많이 제시되었다거나 구조가 명확하다는 점도 평가의 중요한 요소로 제시되었다.
반면, 각 조에서 가장 낮은 점수를 받은 에세이에 관해 주로 언급된 측면 역시 같은 측면에서의 부족함과 관련되었다. 근거가 부족하다는 점(4개 조), 원문에 대한 이해가 잘못되었다는 점(3개 조), 가독성이 부족하다는 점(2개 조), 형식을 제대로 갖추지 않았다는 점(2개 조)을 꼽았다. 그 외에 서술이 난잡하게
제시되었다거나 설명이 빈약하다는 점이 제시되었다.
종합하자면 학생들은 설득력 차원에서 근거의 부족을 가장 중요한 측면이자 그것이 결여될 경우 가장 문제점으로 간주한다는 사실을 알 수 있다. 물론 근거의 부족으로 판단된 정확한 원인이 무엇인지, 구체적으로 어떠한 측면에서의 논리적 뒷받침을 가리키는 것인지는 알 수 없었지만, 그것이 글쓰기의 중요한 요소이자 평가의 중요한 요소라고 생각하며 의견의 합의에 이른 것으로 짐작할 수 있다.
또 한 가지 주목할 만한 측면은, 학생들이 평가에 ‘가독성’이라는 개념을 사용했다는 사실이다. 이 개념 역시 매우 주관적인 개념으로, 평가지만으로 학생들이 해당 개념을 어떻게 이해하고 활용하는지 명확히 파악할 수 없었다. 이는 대체로 평가자의 ‘자기 이해’와 관련되는 것처럼 보이는데, 추가 서술된 부분을 보면 어떤 내용이 등장하는 맥락과 별개로 한 단락의 내용이 길어지거나 익숙지 않은 표현이 등장할 경우 가독성을 해친다고 평가하는 경향이 있었다. 그러므로 이 개념을 글을 평가하기 위한 좋은 기준이라고 평가하기는 어렵다.25) 하지만 나쁜 기준의 사용이 반드시 나쁜 결과라고만은 할 수 없다. 실제 수업에서 이 기준에 대한 특별한 학습이 이루어지지 않았음에도 불구하고 학생들이 이 개념을 사용했다는 사실은 오히려 과정 중심 수업에서 각자의 기준을 자율적으로 고안한다는 점을 시사한다. 즉, 학생들은 평가 과정에 대한 토론에서 각자의 기준을 창발적으로 만들어내고 사용하려 시도한다는 것이다.
반면, 텍스트에 대한 서로 다른 이해가 다른 방식의 가능한 해석으로 받아들여지기보다는 에세이에 대한 평가절하로 이어지는 경우가 있었다. 그래서 가령, 교수자 평가와 비교에서 상대적으로 낮은 동료 평가를 받은 어떤 에세이의 경우, 해당 조로부터 잘못된 원문 이해에 근거한다는 정성 평가를 받았으나 교수자 관점에서는 충분히 가능한 해석으로 보였다. 자신과 관점 및 해석과 다르다는 게 확인될 경우, 그것이 곧 에세이의 평가 하락으로 이어진다는 점은 자신의 입장과 글 자체를 객관적으로 분리하기 어려운 학습자에게 불가피한 문제로 보인다.
전체적으로 보면, 활동 이전 수차례에 걸쳐 진행된 에세이 작성 일반에 대한 이론 강의와 동료평가 활동의 방법 및 지침에 관한 사전 안내가 학생들의 평가에 영향을 미쳤을 수도 있다. 그러나 4.2에서 강조했듯이, 교수자는 서론, 본론, 결론의 형식적 구조 및 요소를 명확히 제시하여 구성적인 면을 확실히 통제함으로써 학생들이 글 전체의 설득력 및 논증 자체에 주목하여 글의 정당화 측면을 평가할 수 있도록 지시했다. 따라서 가령, 근거 제시의 적절함 내지는 부족함이 가장 중요하다는 것을 이론적으로는 파악할 수 있어도 실제 여러 글을 비교할 적에 어떠한 경우가 적절한 근거 제시의 사례인지는 스스로 평가해야만 하는 문제였다. 학생들은 논의 과정을 통해 자신이 생각하는 근거 제시의 적절함을 더 명확히 확인하고 또한 점검하는 기회가 되었을 것으로 추측되었다.
위의 평가 결과를 통해 확인할 수 있는 것은 동료 평가와 교수자 평가 간의 차이점이 무엇이고, 학생들이 글쓰기에서 중요시하는 기준이 무엇인지에 관해서이다. 물론 본 연구의 목적이 이러한 차이를 통한 효과성 입증은 아니므로 제시된 사례를 통해 그 결과를 일반화하기는 어려울 것이다. 다만, 동료 평가와 관련해서는 이미 많은 연구가 실증적 방식으로 유의미한 결과를 제시한 바 있으므로, 정량적 데이터에 관해서는 이를 참조할 수 있을 것으로 기대한다.
4.4.3. 동료 평가 활동이 학습자에게 미친 효과 및 전망
본 연구가 과정 중심의 동료 평가를 통해 강조하고자 하는 점은 동료 평가라는 정당화 활동이 학습자에게 설득력의 기준을 탐색하고 점검하는 기회를 제공한다는 것이다. 그러나 이러한 효과가 실제로 발생했는지 확인하기 위해서는 학습자의 주관적 인지 과정에 대한 장기적 추적이 필요하다. 따라서 앞서 제시된 단일 사례만으로 그 효과를 입증하기는 어렵다. 다만, 활동 후 학습자 설문을 통해 간접적으로 확인할 수 있었으며, 동일한 방식으로 진행된 2차 동료 평가 활동의 결과 분석을 통해 그 효과를 추론할 수 있었다.
동료 평가 활동이 마무리된 후, 모든 학습자들에게는 활동에 대한 개인적 평가와 유익성 측면 및 개선사항과 관련된 설문을 진행했다. 이에 대한 피드백 설문지, 그리고 수업 인원 총 35명 중 설문에 참여한 29명의 응답 결과는 각각 [그림 4], <표 4>와 같다.
<표 4>
동료 평가 활동 피드백 설문지
항목 1과 2는 활동 수행에 따른 전반적 평가로서 각각 활동의 원활한 진행 여부, 활동의 유익성 여부를 물었다. 상당수 학생이 동료 평가 활동이 원활하게 이루어졌다고 답했으며(매우 그렇다 13명, 그렇다 13명, 보통 3명), 본 활동이 글 분석 및 에세이 작성에 도움이 되었다고 평가했다(매우 그렇다 13명, 그렇다 12명, 보통 4명). 수업 관련 설문에서는 일반적으로 우호적 응답 경향이 있으나, ‘보통’ 응답을 부정적으로 해석하더라도 긍정적 답변이 현저히 높은 비율을 보였다.
동료 평가 활동이 주관적으로 어떠한 효과를 가져왔는지는 설문의 3번, 4번 항목을 통해 확인할 수 있었다. 3번 항목의 경우 유익한 측면에 대해, 4번 항목의 경우 부정적 측면에 대해 응답을 요구했고 두 항목 모두 중복 응답을 허용했다. 그 결과, 3번 항목에 대해서는 ‘남의 글을 통해 글을 쓸 때 삼가야 할 요소들을 알 수 있어서 좋았다’는 견해(21명), ‘남의 글을 통해 글을 쓸 때 배울 만한 요소들을 알 수 있어서 좋았다’는 견해(20명), ‘나와는 다른 생각을 확인할 수 있어서 좋았다’는 견해(18명)에 대해 순서대로 높은 응답 비율을 보였다. 유익한 측면과 관련해서는 학생들의 의견이 대체로 일치되었다. 이와 같은 결과는 학습자들이 글쓰기의 부정적 사례를 통해 오류를 인식함으로써 실제 글쓰기의 질적 개선을 이룰 수 있고, 또 우수 사례를 통해 모범적 글쓰기의 전략을 습득할 수 있음을 시사한다.
4번 항목에 대해서는 ‘글을 평가하는 데 주어진 시간이 짧았다’는 견해(14명), ‘조별 논의 과정에서 의견을 합의하기가 어려웠다’는 견해(6명), ‘나의 글 역시 누군가에게 평가되고 있다는 사실을 견디기 힘들었다’는 견해(5명)가 순서대로 높은 응답 비율을 보였다. 그러나 이다음으로 높은 응답 비율을 보인 답변과의 격차가 크지 않은 것으로 보아 학생들 간의 의견 불일치를 보였다.
그러나 부정적 측면과 관련된 4번 항목에 대한 응답은 평가 활동 자체에서 기인한 문제라기보다는 설계상의 방법론적 단점을 지적하는 것으로 해석된다. 과제의 분량 및 성격을 더 통제하고 의견 합의를 위한 세부적인 가이드라인을 제시할 경우 충분히 극복될 수 있는 문제로 보인다. 한편, 본 활동에서 동료 평가에 대한 학습자의 심리적 부담을 최소화하기 위한 익명성 보장 등의 여러 고려들이 적용되었음에도 불구하고 피평가자로서의 자신을 분리하지 못하는 경향을 보인다. 이는 동료 평가 자체의 한계라기보다는 익명성 강화의 필요성을 제기한다. 이러한 결과는 동료 평가의 근본적 가치를 부정하기보다 실행 방식의 개선 방향을 제시하는 게 필요하다는 것으로 이해된다.
학생들은 전반적으로 이 활동을 유익했다고 평가했으나, 해당 설문이 교육적 효과뿐만 아니라 활동 전반에 대한 인상까지 묻고 있어 이를 교육적 효과의 직접적 근거로 삼기는 어렵다. 교육은 학습자의 주관적 평가를 넘어 객관적인 향상을 목표로 해야 하므로, 학생들의 ‘자기보고’만으로는 신뢰성에 한계가 있다. 따라서 이 활동이 장기적 관점에서 실질적으로 학생들의 글쓰기 역량을 개선했는지에 대한 의문은 여전히 남아있다.
그러나 이후 진행된 2차 동료 평가 활동의 결과를 1차 활동 결과와 비교함으로써 학생들의 평가 및 글쓰기 역량 변화를 간접적으로 추적할 수 있었다. 2차 동료 평가는 1차와 다른 텍스트와 주제로 진행되었으나 1차 활동 때와 마찬가지로, <에세이 작성 및 수집 - 조별 교차 분배 및 조별 동료 평가 활동 - 교수자 개별 피드백>의 과정을 거쳤다. 이러한 비교 분석을 통해 학생들의 역량 개선과 관련해 주목할 만한 변화들이 있었다.
두 활동에 걸쳐 나타난 변화로, 우선 2차 동료 평가에서 제출된 학생들의 결과물 평균 점수가 상승하고 편차가 크게 줄었다. 1차 평가에서 제출된 에세이는 교수자 평가에서 15점 만점에 평균 12.26점, 표준편차 1.52였다. 반면 2차 에세이에 대한 교수자 평가는 평균 13.26점, 표준편차 1.19였다. 평가의 최고점이 15점, 최하점이 10점이었던 점을 고려하면, 이 1점의 차이는 사실상 5점 만점에서의 차이로 볼 수 있으므로 학습자의 글쓰기에 상당한 개선이 있었다고 유추할 수 있다. 또한 2차 에세이에서 표준편차가 눈에 띄게 감소한 것은 학생들이 작성한 두 번째 에세이들 간의 질적 차이가 줄어들었음을 보여준다. 이는 해당 활동이 학습자의 글쓰기를 개선하여 결과물의 질적 편차를 줄였다고 해석할 수 있다.
학생들이 수행한 동료 평가 결과를 비교했을 때도 평가자로서의 역량 향상이 발견되었다. 2차 활동에서는 교수자 평가와의 비교에서 단 2개 조를 제외한 모든 조가 동일한 에세이를 최우수 에세이로 선정했으며, 이 두 조 역시 교수자 평가에서 2위에 해당하는 에세이를 선택했다. 1차 활동에서는 단 2개 조만이 교수자 평가와 일치했던 것과 비교하면, 2차에서는 5개 조가 일치하여 평가자로서 학습자의 역량이 향상되었음을 보여준다. 또한 최하위 에세이 선정에서는 모든 조가 교수자 평가와 일치했다.26) 이는 1차 활동 때보다 에세이의 전반적인 질이 향상되었음을 학습자들도 인식했다는 것을 보여주는 결과로 해석할 수 있다. 종합하자면, 이 활동은 학생들로 하여금 ‘남의 글을 어떻게 평가해야 할지’ 내지는 ‘글에 대한 객관적 평가 기준이 무엇인지’를 파악할 수 있다는 점보다도 자신이 글을 쓸 때에 어떠한 방식으로 쓰는 게 좋은지 혹은 좋지 않은지에 대한 기준을 마련해 준다는 점에 있어서 더 효과적임을 알 수 있다. 동료 평가 활동을 통해 평가자 역할을 수행하는 학생들은 결국 정당화에 대한 나름의 기준을 가지고 동료의 글에 대해서도 평가하게 되는데 평가를 위한 조별 토론 과정은 궁극적으로 자신의 정당화 기준에 대한 재점검 기회인 셈이다.
5. 결론
본 논문의 목적은 논증 기반 글쓰기 과목에서 발생하는 이론과 실제 사이의 간극을 해소하고 글쓰기 교과의 목표인 정당화 능력을 함양하기 위한 방법으로서 동료 평가 모델을 제시하는 것이다. 이를 위해 동료 평가 모델이 기존 평가 방식의 한계를 극복하기 위한 대안이 될 수 있음을 주장하는 한편, 기존 동료 평가 모델에서 관찰되는 문제점들을 보완하기 위한 세 가지 제언을 밝혔다. 이 모델을 일부 적용한 S 대학 글쓰기 수업 사례는 해당 모델의 간접적 효과 및 활용 상의 개선점을 확인할 수 있다는 점에서 의미가 있었다.
물론 글쓰기 교과는 성공적인 설득을 위한 여러 형식적 지침을 제공할 수 있다. 그러나 한 편의 글은 제한된 분량 안에서 일정한 순서에 따라 읽히기 때문에, 모든 제언들을 같은 비중으로 다룰 수 없을 뿐더러, 각 기준은 각 저자들에 따라 달리 선호될 수도 있다. 이러한 기준의 자기화는 결국 저자가 자기 자신이 지향하는 글쓰기 방식을 알아가는 과정의 결과이기에, 치열한 반성적 과정 없이 달성될 수는 없다. 이러한 어려움을 겨냥하여, 과정 중심의 동료 평가는 학습자들에게 결과물로서의 글 자체가 아니라, 글을 쓰는 과정, 다른 사람들의 글을 평가하는 과정에서 이러한 글쓰기 방식에 대한 선호를 드러내고, 그것이 분명치 않음을 깨닫게 하며, 자신의 방식에 대해 정당화하는 과정에서 그것을 반성하도록 유도하기 위해 기획되었다.
S 대학 글쓰기 수업 사례를 통해 학생들에게 동료 평가 과정, 자기 평가의 정당화 활동이 글쓰기에 대한 자기 피드백을 경험케 한다는 장점이 있음을 확인할 수 있었다. 실제로 활동의 과정을 담은 동료 평가 심사지, 나아가 활동을 수행한 학생들의 자기 보고를 통해, 과정 중심의 동료 평가 활동이 개별적 차원에서 수행되는 글쓰기 이상으로 학습자의 글쓰기 활동에 큰 영향을 미칠 수 있다는 결과가 나타난다.
그럼에도 불구하고 이 모델이 적용된 해당 사례는 이 모델이 여러 가지 면에서 수정 및 정교화가 필요하다는 점 또한 드러낸다. 무엇보다도 동료 평가 활동이 정당화 과정을 통해 글쓰기의 자기 기준을 탐색하고 이를 통해 장기적 관점에서 글쓰기의 개선을 목표한다면 이것이 정말로 학습자의 글쓰기에 긍정적으로 반영될 수 있는지는 확인할 수 있어야 할 것이다. 따라서 학습자는 동료 평가 이후, 자신이 수립한 기준들 및 동료 평가 피드백 내용들을 바탕으로 해당 글을 다시 한번 수정하는 절차가 필요할 것으로 보인다. 이 과정에서 학습자는 자기 견해를 논증적 글을 통해 구현하는 방식에 대해 더 구체적으로 이해하고 체화할 수 있을 것이다.
그 뿐만 아니라, 평가 활동에서 관찰된 측면 중 하나는, 학습자들이 특정한 개념을 우선적 기준으로 합의했다 하더라도, 그 개념을 충분히 구체적으로 이해하고 있는 것으로 간주되지는 않는다는 사실이다. 그러므로 평가에 대한 지침 및 평가 과정의 구성에 대해 더 고려할 필요가 있어 보인다. 가령, 최우수 에세이 혹은 최하위 에세이에 대한 더 구체적인 첨삭 활동을 집단적으로 수행하게 할 수 있다. 이러한 활동을 통해, 학습자들은 자신들이 합의한, 혹은 고안한 기준들을 다시 구체적으로 결과물에 적용해야 하며, 이 과정에서 기준 자체의 중요성을 재평가하거나 또는 내용을 보다 더욱 구체화, 체계화할 수 있을 것이다.
많은 연구자가 피드백의 목적이 단순히 한시적 관점에서 결과물의 질을 향상시키는 것이 아니라, 질적으로 개선된 후속 활동을 통해 장기적 관점에서 깊이 있는 사고와 탐구를 겸비한 학습자를 길러내는 데 있다는 점에 동의한다(장지혜, 송지언, 2019; 김남미, 2023). 단순한 지식 전달 이상의 실질적 역량 배양을 목표로 하는 글쓰기 교과의 경우 교수자는 후속 활동으로의 전이에 대해 더욱 고민해야 한다. 잘 설계된 동료 평가를 이를 다른 교수법과 적절히 결합한다면 단순한 일회성 피드백이 아닌, 장기적 관점에서 깊이 있는 사고와 탐구 능력을 갖춘 학습자를 양성하는 데 기여할 수 있다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
