초보적 학술 담론 텍스트의 역량 기반 평가 루브릭 개발 연구
Research on the Development of a Rubric for Competency-based Assessment of an Introductory Academic Discourse Text
Article information
Abstract
본 연구는 대학의 글쓰기 수업에서 산출하는 초보적 학술 담론 텍스트를 평가하는 루브릭을 개발하는 것을 목표로 하였다. 최근 역량 기반 교육이 강조되고 글쓰기 교육에도 역량 개념을 도입해야 한다는 주장이 대두되고 있음에 착안하여 역량 측정을 가능하게 하는 글쓰기 평가 도구의 개발 및 활용을 제안하고자 하였다. 이를 위해 K대학교 교양 교과목 중 심화 글쓰기 과목의 과제 수행을 통해 내재화할 수 있는 역량 요소를 도출하고 성취 수준을 구체적으로 기술한 루브릭을 개발하였다.
루브릭은 대표적인 루브릭 개발 모형인 Stevents and Levi (2013)의 4단계 모형에 따라 구축하였다. 과제 수행과 대학 핵심 역량의 연계, 과제의 평가 요소를 통해 측정할 수 있는 세부 역량, 성취 수준별 수행 특성 등을 파악할 수 있도록 설계하였다. 전문가 감수 및 보완을 거쳐 도출한 루브릭은 예비 평가를 통해 효용성을 확보하였다. 예비 평가 결과에서 도출된 시사점을 고려하며 루브릭을 실제 교육 현장에 도입함으로써 더 개선해 갈 수 있을 것으로 기대되었다. 대학의 교양 필수 과목에서 다루는 학술 담론 텍스트의 평가를 일관되고 효율적인 방식으로 이루어지게 하며 성취도와 역량의 향상을 위해 필요한 수행의 내용을 구체적으로 파악할 수 있게 하는 평가 도구로서의 루브릭을 제시하였다는 점에서 본 연구의 의의를 찾을 수 있다.
Trans Abstract
The aim of this study was to develop a rubric for evaluating beginning academic discourse texts produced in a writing class at a university. Given the recent emphasis on competency-based education and the need to introduce the concept of competence into writing education, this study proposed the development and untilzation of a writing assessment tool that enables the measurement of competence. To this end, a rubric was developed to identify competency elements that can be internalized through the performance of assignments in advanced writing courses in the liberal arts curriculum of K university and to specify achievement levels.
The rubric followed the four-step model Stevens and Levi (2013), a representative rubric development model. It was designed to identify the link between task performance and university core competencies, detailed competencies that can be measured through the assessment elements of the task, and performance characteristics by achievement level. The rubric was reviewed by experts and revised to ensure its effectiveness through preliminary evaluation. We expect that the rubric can be further improved by introducing it into actual classrooms while considering the implications drawn from the preliminary evaluation results. The significance of this study is that it presents a rubric as an assessment tool that enables the consistent and efficient assessment of academic discourse texts covered in the required liberal arts courses in a university and one that identifies the specific content of the performance required to improve achievement and competence.
1. 서론
대학교에 입학한 신입생들은 전공 분야에 상관없이 교양 필수 교과로 ‘글쓰기’ 수업을 수강한다. 기관에 따라 하나의 글쓰기 과목을 운영하기도 하고, 기초 글쓰기 과목과 심화 글쓰기 과목을 분리하여 운영하기도 하는데, 어떤 경우이든 수업 내에 학술 담론 텍스트를 산출하는 과정을 포함하는 것이 일반적이다. 본 연구에서는 이러한 글쓰기 과목을 통해 산출하는 결과물들을 어떻게 평가하는지에 주목하였다. 특히 학술 담론 텍스트에 대한 학습의 결과물로 산출하는 논리적⋅비판적 학술 텍스트에 주목하고자 한다. 즉, 본 연구는 대학생이 보통 1학년 또는 2학년 시기에 수강하는 글쓰기 수업에서 산출하는 초보적 학술 담론 텍스트1) 를 대상으로 이를 평가하는 틀이자 체계인 평가 루브릭을 개발하는 데 목적이 있다.
루브릭은 학생의 수행을 평가하기 위한 일련의 평가 준거(criteria)를 모아 놓은 종합적 틀로서, 각 준거 요소에 기반해 학생의 수행을 수준별로 기술한 것을 말한다. 교양 과정인 글쓰기 과목은 대학생들이 학업 수행 전 학술 텍스트를 산출할 수 있도록 도움을 주기 위한 목적을 가지므로 평가 과정에서 평가적(evaluative)이기보다는 기술적(descriptive)인 성격2)을 지닌 루브릭을 활용하는 방안이 매우 적절하다고 볼 수 있다. 그 이유는 첫째, 교양 필수 과정으로 운영되고 있어 같은 교과목을 담당하는 교수자들이 동일한 결과물을 평가해야 하므로 평가 척도가 통일될 필요가 있다. 둘째, 학습자가 해당 과목을 통해 개발할 수 있는 역량에 관해 명시적으로 알려줄 수 있다.
이렇듯 본 연구에서는 글쓰기 과목의 평가 루브릭이 매우 필요함을 인지하고 이를 개발하고자 하며, 그 과정에서 ‘역량(力量, competency)’과 ‘문식성(文識性, literacy)’ 개념을 적용하고자 한다. 먼저 ‘역량’은 최근 대학 교육에서 기반으로 삼는 것으로, 지식이나 기술을 보유하고 있는 것보다는 어떤 일을 ‘수행’하는 데 필요한 내재적 능력(김대중, 김소영, 2017, p.26)을 중심에 두는 개념이다. 또한 직업 업무 영역에서의 역량 개념과 연계하여 교육적 측면으로 확장⋅재구성된 개념이라고 할 수 있다. 글쓰기 과목에 역량 개념을 적용해야 함은 여러 연구에서 계속 언급되어 왔다. 이재영, 김지영(2020, p.1704)에서는 글쓰기 역량에 대한 사회적 필요의 증가를 언급하였고, 차봉준, 한윤영(2018, p.343)에서는 대학 글쓰기 교과목이 의사소통역량 증진에 유의미한 효과를 도출한다고 밝혔다. 김화경(2017, p.140)에서는 ‘비판적⋅창의적⋅융합적 사고’, 즉 창의융합역량 함양을 위한 통합적 글쓰기 방안을 제시하며 글쓰기 교과목이 역량 기반으로 운영되어야 함을 주장하였다.
다음으로 글쓰기 과목의 평가 루브릭에는 ‘문식성’ 개념도 반드시 고려되어야 한다. 이순영, 김주환(2014, p.137)은 ‘대학 생활과 사회적 삶의 질을 결정하는 핵심 요소가 문식성(literacy)’이라는 사회적 인식이 있어 대학 글쓰기 분야가 성장할 수 있었다고 제시하였다. 이 ‘문식성’은 읽고 쓰는 능력에 초점을 둔 초기 문식성 개념에서부터 디지털 미디어 시대가 도래함에 따라 디지털 리터러시나 미디어 리터러시, 더 나아가 뉴미디어 리터러시까지도 포괄하는 개념으로 적용된다. 또한 학문 목적 한국어 학습자로서 외국인 유학생들에게는 학술적 문식성(academic literacy)도 요구된다. 단순히 어떤 지식을 습득하는 것에 그치는 것이 아니라 이를 분석적으로 평가하고 개발하는 데까지 나아가는 능력으로서 문식성 개념이 사용되기 때문에 수행 능력에 초점을 둔 역량의 개념과도 연결성을 가진다고 볼 수 있다.
이러한 관점을 바탕으로 본 연구에서 설정한 연구 문제는 다음과 같다.
첫째, 학술 담론 텍스트 쓰기 과제의 목표와 대학의 핵심 역량은 어떻게 연계될 수 있는가?
둘째, 학술 담론 텍스트 쓰기 과제의 평가 루브릭은 어떻게 구성할 수 있는가?
셋째, 학술 담론 텍스트 쓰기 과제의 평가 루브릭의 타당도를 어떻게 갖출 수 있는가?
이러한 연구 문제를 해결하기 위해 본 연구에서는 다음과 같은 연구 방법과 절차를 사용하고자 한다. 먼저 첫 번째 연구 문제 해결을 위해 문헌연구 및 교과목 현황 분석, 대학 핵심 역량 분석을 통해 질적 연구 방법을 사용할 것이다. 두 번째 연구 문제를 위해서는 Stevens and Levi (2013, pp.29-30)의 루브릭 개발 4단계 모형3)을 따라 루브릭을 단계적으로 개발하고자 한다. 마지막으로 개발 루브릭의 타당도를 갖추기 위해 현장 교수진의 예비 채점과 비구조화 서면 면접법(unstructured written interview)을 사용한 전문가 감수를 진행하고자 한다.
2. 이론적 배경
2.1. 글쓰기 교과목의 평가 및 역량 개념의 적용
이 장에서는 학술 담론 텍스트 과제의 역량 기반 루브릭 개발을 위해 기존의 연구와 이론적 내용을 다룰 것이다. 먼저 본 절에서는 글쓰기 교과목의 평가와 역량 기반 평가에 관한 연구를 살펴보고자 한다. 2000년대 이후 국내 대부분의 대학에서는 신입생을 대상으로 글쓰기 교육을 필수 교양 과목으로 지정하여 운영하고 있다. 따라서 대학별로 표준 교육 과정 개발에서부터 교수 방안, 현황 분석 등에 관한 연구도 계속 이루어졌다. 다른 영역에 비해 상대적으로 부족(이희영, 2018, p.105)4)하기는 하지만 평가에 관한 연구도 이어져 왔다.
김정숙, 백윤경(2022, p.400)에 따르면 대학 글쓰기 수업 평가 방법에 관한 조사 결과 대상 연구 총 13편 중 분석적 평가와 총체적 평가5),를 동시에 사용한 연구가 절반 정도인 6편이었고, 분석적 평가만 활용한 것 5편, 총체적 평가만 활용한 것 2편으로 분석적 평가가 더 많이 사용됨을 알 수 있다. 또한 학술 담론 텍스트 평가 연구 내용 중 ‘평가 항목’을 중심으로 살펴보면 <표 1>과 같다.
기존 연구의 학술 담론 텍스트 평가 항목
전반적으로는 ‘언어 구조적 측면’과 ‘텍스트 측면’으로 나뉘며 좀 더 세부적으로는 내용과 구성, 장르와 화용으로 나뉘기도 한다. 대학 글쓰기 교과목의 운영은 대체로 최종 결과물로 산출된 텍스트가 나오기까지 교수자의 지도와 피드백이 있어 과정 중심으로 진행된다. 따라서 <표 1>의 평가 항목 자체는 완결된 텍스트를 평가하는 것이므로 소위 ‘쓰기 과정6),’에 대한 평가 범주는 제외되어 있다. 이영옥(2013)의 경우에는 일반 목적과 학문 목적 언어 사용 능력을 구분하여 평가 항목을 구성했고, 각 범주별로 1차적(기본적) 능력과 2차적(전략적) 능력으로 나누고 있다는 점이 다른 연구와 차이가 있다.
한편 이순영, 김주환(2014, pp.138-141)에서는 대학의 글쓰기 분야가 ‘교양 교육 차원에서의 글쓰기’, ‘학술 담론 텍스트 산출로서의 글쓰기’, ‘학문 영역 간 소통을 중심으로 한 종합적인 글쓰기’의 세 가지 관점으로 논의가 혼재하고 있어 그 정체성 역시 혼란이 있음을 지적하였다. 따라서 글쓰기 과목의 핵심 역량(key-competencies)에 관한 고민이 필요함을 언급하며 교수자 50명을 대상으로 설문조사를 진행했다. 조사 결과 교수자들은 대학 글쓰기의 목표를 ‘학문 수행에 필요한 고등 수준의 비판적 사고력(이순영, 김주환, 2014, p.148)’ 향상에 두고 있으나 글쓰기 과목과 연계되는 핵심 역량이 무엇인지에 대해서는 ‘의사소통 능력, 기초학습 능력’의 응답률이 가장 높았다(이순영, 김주환, 2014, p.153). 즉 글쓰기 과목을 핵심 역량7)요소 중 ‘기초적인 학습 능력’을 기르고 학문 및 직무 활동에 필요한 문어 기반의 ‘의사소통 능력’을 기를 수 있는 과목으로 본 것이다. 본 연구에서도 이러한 인식에 전반적으로 동의하나, 핵심 역량 요소 중 응답률이 상대적으로 낮은 창의력, 정보처리 능력 등 기타 요소를 배제할 수 있는지에 대해서는 교수 학습 목표의 깊이 있는 탐색이 필요하다고 본다.
대학 글쓰기와 관련하여 ‘역량’을 접목한 연구를 더 살펴보면, 이재영, 김지영(2020)은 대학의 핵심 역량을 고려하여 ‘글쓰기 역량 측정 도구’ 개발의 방향성을 탐색했다. 이 연구에서는 기초 글쓰기 교과목을 수강 완료한 심화 글쓰기 교과목 수강생 300여 명을 대상으로 객관식 20문항으로 이루어진 도구의 예비 검사를 시행하였고, 핵심 역량 ‘공감소통, 독창성, 문제해결’과 실무 역량 ‘이해력, 구성력, 표현력, 어휘력, 논리력, 사고력’을 측정하였다. 직접 평가가 아닌 간접 평가여서8),본 연구의 평가와는 차이는 있으나 학습자의 글쓰기 역량을 측정하고자 했다는 점에 의의가 있다. 예비 측정 결과에서 실무 역량별로 정답률의 차이가 매우 크게 나타났는데, 그중 ‘사고력’과 ‘표현력’은 정답률이 매우 낮게 나타나 실제 글쓰기 직접 평가에서도 그러한지 추후 확인이 필요하다고 보았다. 또한 차봉준, 한윤영(2018)에서는 대학 글쓰기 교육의 의사소통 역량 효과성을 분석했는데, 기본 역량(이해, 분석, 논증, 구성), 특수 역량(지식, 동기, 수행, 문제해결)이 모두 교육적 효과가 있다는 결과가 나왔다. 이처럼 기존 연구에서 얻은 대학 글쓰기 교과목과 핵심 역량의 연결고리에 관한 근거, 시사점을 바탕으로 대학 심화 글쓰기 수업이 어떠한 역량 향상을 목표로 하는지 검토하고, 과정 중심 쓰기 활동으로 산출되는 학술 담론 텍스트의 평가에 어떻게 접목할 수 있을지 논하고자 한다.
2.2. 학술적 문식성 측정과 루브릭 개발
다음으로 심화 글쓰기 교과목의 목표와 ‘학술적 문식성’의 관계를 살펴보고 왜 루브릭을 개발하고자 하는지에 대해 간단히 언급하고자 한다. Palmer et al. (2014), Fox and Artemeva (2017), Palmer et al. (2018) 등에서는 첫 학기 혹은 첫 학년(thefirst-semester/year), 신입생(entering students) 시기의 언어 능력⋅학술적 문식성 진단과 교육적 처치가 학업 수행에 얼마나 중요한지를 언급하고 있다. 신입생들이 대학에서 학업을 수행하기 위해 신입생 시기 학술적 문식성을 향상해 줘야 하며 이를 진단하고 측정하는 것이 매우 중요하다는 의미이다. 한윤정(2022, p.452)에서는 학술적 문식성의 정의를 탐색한 Lillis and Scott (2008, p.9)를 들어 ‘쓰기’ 활동이 대학 교육에서 주요한 영향(high stakes)을 미치며 쓰기에 어려움이 있는 학생은 낙제할 가능성이 높다고 언급한다. 학술적 맥락에서의 쓰기가 학술적 문식성과 매우 관련이 깊다고 제시하고 있는 것이다. 곽준화(2020, p.46)에서도 서로 중첩되는 부분이 있기는 하지만 학술적 문식성(academic literacy)을 학문적 구술성(academic oracy)과 대비하여 문어 기반으로 설명한다9,). 또한 문어 기반의 학술적 문식성 세부 구성 요인으로 ‘지식, 인지, 소통, 수행’을 제시하며 이들이 서로 영향을 미치고 상호작용한다고 하였다(곽준화, 2020, pp.83-84). 루브릭은 내국인 대학생뿐 아니라 외국인 유학생들에게도 매우 중요하다고 할 수 있다. 보통 유학생들은 일정 기간의 한국어 학습을 마친 후 한국어능력시험(TOPIK) 3급을 취득하고 대학에 진학한다. 그러나 대학 간 유학생 수준에 큰 차이가 있어 TOPIK 3급을 취득하지 못한 학생들이 학부 과정에서 학업을 수행하게 되는 경우도 아직까지 많다. 글쓰기 수업을 통한 학술적 문식성과 교육 역량에 대한 진단 및 교육적 실행이 유학생들에게도 필요하다고 할 수 있다.
따라서 교양 과목인 대학 글쓰기 교과목에서의 학술 담론 텍스트 평가 항목 구축과 평가 실행은 학술적 문식성 측정과도 연결되어 중요하다고 할 수 있다. 학술적 문식성 측정과 관련하여 박지순(2017), 곽정화, 최정순(2019), 장미정(2020)을 살펴보았다. 학술적 문식성의 세부 구성 요인으로 박지순(2017, p.179)에서는 ‘언어 문식성, 비판적 문식성, 문화 문식성, 매체 문식성’을 제시하였고 곽정화, 최정순(2019, p.19)에서는 ‘기능적 문식성, 비판적 문식성, 문화적 문식성, 정보 문식성, 미디어 문식성’을 제시하였다. 각 요인의 명칭에 차이가 있으나 서로 관련성을 가지고 있으며, ‘정보, 매체, 미디어’ 문식성이 포함되어 있다는 점 또한 주목할 만하다.
이에 대학생의 학술적 문식성을 전반적으로 다루는 글쓰기 수업에서 ‘역량’과 ‘문식성’ 개념을 적절히 적용하여 평가 항목을 구축할 필요가 있는 것이다. 또한 타당도와 신뢰성을 갖춰 텍스트를 평가하고 학생의 학업 수행을 위한 긍정적 환류 효과를 얻을 수 있도록 루브릭을 개발할 필요성도 도출할 수 있다. 특히 글쓰기 수업에서 한 학기 동안 산출되는 수십, 수백 건의 최종 결과물을 명확하고 일관성 있게 평가하고 피드백 제공을 용이하게 할 필요에서 평가 루브릭 개발은 시급한 문제라고 볼 수 있다. 최경애(2019, pp.35-51)에서는 루브릭 사용의 효과를 다음 6가지로 제시한다. 이는 본 연구에서 대상으로 하는 심화 글쓰기 교과목의 교육과 평가를 위한 루브릭 개발의 근거가 된다.
루브릭은 신속한 피드백을 원하는 학생들에게 빠르게 피드백을 제공할 수 있게 한다.
루브릭은 학생들이 구체적인 피드백을 제공받을 수 있게 한다.
루브릭은 학생들의 비판적 사고를 촉진한다.
루브릭은 수업과 관련된 다른 사람들과의 의사소통을 용이하게 한다.
루브릭은 교사의 교수법을 향상하는 데 도움이 된다.
루브릭은 다양한 배경의 학생들을 공평하게 평가하는 데 도움이 된다.
3. 초보적 학술 담론 텍스트의 역량 기반 루브릭 개발
3.1. 개발 절차 및 특징
좋은 루브릭은 교사가 과제나 활동을 학습 목표와 혼동하지 않음으로써 과제의 완성을 학습 그 자체로 혼동하는 것을 피하도록 돕는다(Brookhart, 2013, p.11)10). 루브릭이 가르치는 내용(content)과 성과(outcomes) 두 가지를 모두 명확하게 밝히고 있기 때문이다. 어떤 하나의 내용이나 과제 수행 결과에만 신경 쓰는 것이 아니라 해당 교과목에서 요구하는 전반적인 성과에 관심을 두어 학습자가 얼마나 잘 학습했는지에 주목해야 한다는 것이다.
또한 루브릭은 글쓰기 수업에서 다루는 같은 성격의 과제에 반복적으로 사용될 수 있도록 개발해야 한다. 이는 한 학기 내 비슷한 종류의 과제를 연속적으로 수행하면서 피드백을 주고 작문 연습을 하는 과정에서 루브릭이 활용될 수 있음을 뜻한다. 예컨대 하나의 글쓰기 과제를 수행하는 과정에서 루브릭을 활용하여 초고의 성취 수준을 검토하고, 수정 원고 혹은 최종 원고 작성 후 루브릭을 다시 적용해 재검토할 수 있다. 같은 성격의 글쓰기 과제를 두 번 이상 수행하는 경우라면 동일한 루브릭을 각기 다른 과제물에 거듭하여 사용할 수 있다. 또한, 반복적으로 사용될 수 있다는 것은 학기별로 동일한 교육 내용과 교수법으로 반복 진행되는 다수 분반의 글쓰기 교과목에서 공통적으로 활용될 수 있음을 의미하기도 한다.
이러한 루브릭은 학습자에게 과제 수행의 바람직한 형태를 이해하고 성취 수준을 점검할 수 있도록 하며 구체적으로 향상시켜야 하는 지점을 파악할 수 있도록 하는 방식으로 글쓰기 역량 계발을 돕는다. 따라서 본 연구에서는 K대학교 교양 글쓰기 교과목에서 내재화할 수 있는 역량 요소를 발굴⋅도출하고 성취 수준을 구체적으로 기술한 평가 루브릭을 개발하고자 한다.
개발하고자 하는 루브릭의 유형11),을 결정하기 위해서는 대상으로 삼는 글쓰기 교과목의 평가 유형을 명확히 해야 한다. 오현아(2011, p.257)의 ‘변인에 따른 작문 평가 유형’은 다음과 같으며 이를 기준으로 K대학교의 심화 글쓰기 교과목 작문 평가의 유형을 제시하면 <표 2>와 같다.
K대학교 글쓰기 교과목 작문 평가 유형
K대학교의 심화 글쓰기 교과목은 학술에세이 한 편을 완성하는 것을 최종 목표로 하여, 단계별 학습 활동 및 평가를 진행한다. 여기서 학술에세이란, 논문이 요구하는 최소 원칙을 지키되 필자의 주관적 사유와 개성이 드러나는 학문적 성격의 글로, 전문성과 대중성의 균형을 추구한다. ‘위기와 전환’이라는 대주제하에서 글의 주제를 정하여 A4 7쪽 정도의 분량으로 완성할 것을 요구한다. 16주로 이루어진 과정 중 전반부 8주 동안에는 학술 담론 텍스트에 관한 이론을 익히고 예문을 접하며 학술에세이 제안서를 완성한다. 그리고 후반부 8주 동안에는 제안서를 바탕으로 작성한 학술에세이 초고를 발표하고 제출하며, 초고에 대한 평가와 첨삭 내용을 반영하여 수정을 가한 최종본을 마지막 주에 제출한다.
학술에세이 초고를 제출하는 시점에 학생은 자신의 글에 대한 첫 번째 평가를 받게 된다. 이때 교사와 동료가 모두 평가자로 참여한다. 사용 매체는 복합적인 형태로, 학습자가 제출한 초고의 지면에 첨삭 내용을 전달하는 동시에 대면으로 설명하기도 하고, 인터넷 게시판을 활용할 뿐 아니라 실시간 화상 수업을 통해 평가를 하기도 한다. 주제 및 내용, 구성, 표현, 형식 등을 평가 내용으로 하며, 각 요소를 개별적으로 평가한다는 점에서 분석적 평가라 할 수 있으나 수업 과정에서 축적되고 결과물에 반영된 전체적 인상에 의한 평가 역시 배제되지 않는다는 점에서 총괄 평가 역시 절충적으로 함께 수행된다고 할 수 있다. 평과 결과는 직접적(직설적) 방식을 취한다. 초고 평가 이후 제출하는 최종본 역시 동일한 기준과 내용으로 평가한다. 최종본에 대해서는 동료 평가 없이 교수자가 평가를 진행한다. 초고를 준비하는 과정에 교사 및 동료의 피드백이 개입되며 초고에 대한 평가가 최종본과 동일한 기준에 의해 진행되고 학생은 초고 평가를 바탕으로 과제를 보완하여 완성본을 제출하게 되므로 과정 중심 평가의 성격을 띤다.
이러한 작문 평가 유형 및 과정에 기반하여, K대학교 심화 글쓰기 교과목의 평가 루브릭은 각 요소를 개별적 준거에 의해 평가하는 분석적(analytic) 루브릭, 그리고 특정 과제의 달성도를 평정하기 위한 것이 아니라 같은 성격의 과업에 반복적으로 사용할 수 있으며 교과목의 전반적 목표와 발전을 파악할 수 있게 하는 일반적(general) 루브릭을 지향하는 것이 타당할 것임을 알 수 있다.
본 연구의 루브릭은 대표적인 루브릭 개발 모형인 Stevents and Levi (2013, pp.29-30)의 4단계 모형에 따라 구축한다. 4단계 모형의 각 단계에 대한 설명은 <표 3>에 제시하였다.
Stevents and Levi (2013) 4단계 루브릭 개발 모형
3.2. 단계별 개발의 실제
여기에서는 Stevents and Levi (2013, pp.29-30)의 4단계 모형을 적용하여 K대학교 심화 글쓰기 교과목의 루브릭을 개발한 과정을 구체적으로 밝힌다.
먼저 1단계 ‘성찰하기(reflection)’에서는 학술 담론 텍스트 과제 수행, 즉 학술에세이 완성을 통해 학생이 달성하도록 기대되는 것이 무엇인지 정리하였다.
<표 4>는 거시적 차원의 학습 목표를 정리한 것이다12),. 학생은 학술에세이 작성 과정에서 이 목표들을 성취해 나갈 수 있고 완성한 결과물로써 성취 수준을 보여줄 수 있다. 이 목록은 학생이 무엇을 달성해야 하는지를 말해준다. 하지만 궁극적으로 이를 통해 어떠한 역량을 개발할 수 있는지에 대해서는 알려주지 못한다. 교과목이 요구하는 과제의 수행이 어떠한 역량 요소와 관련되는지 밝히기 위해서, 해당 교과목을 개설하고 있는 K대학교의 핵심 역량 요소를 검토하였다. K대학교는 6대 핵심 역량13),을 설정해 두고 있는데, 이 중 4개 역량이 심화 글쓰기 교과목과 긴밀히 연관된다고 보았다. 위에서 제시한 거시적 학습 목표들이 각각 어떠한 역량의 개발에 기여할 수 있는지 <표 5>에 제시하였다. 핵심 역량은 포괄적이고 보편적인 의미 범주를 갖는 개념이기 때문에 각 역량의 의미 범주가 서로 완전히 배타적이지 않다. 그렇기에 하나의 학습 목표가 여러 핵심 역량에 관계될 수 있지만, 학습 목표 달성에 가장 주요하게 작용하는 것으로 판단되는 역량과 학습 목표를 연결시켰다.
1단계 : 성찰하기 - 거시적 학습 목표
1단계 : 성찰하기 - 핵심 역량과 학습 목표의 연계
루브릭 개발 모형 2단계 ‘목록 만들기(listing)’에서는 거시적 학습 목표를 바탕으로 구체적 학습 목표로서의 최고 수준 성취 목록을 나열하였다. 이는 성공적으로 수행된 과제의 가시적 형태에 대한 서술이 된다. 목록의 일부를 예시하면 <표 6>과 같다.14)
2단계 : 목록 만들기 - 최고 수준 성취 목록(일부)
최고 수준의 성취 목록은 잘 수행된 과제가 어떠한 모습을 갖추어야 하는지를 지시한다. 또한 관련된 세부 역량들을 도출하기 위한 자료로 기능한다. 예를 들어, 최고 수준 성취 목록 중 ‘논리적이고 독창적인 추론과 사고로 주제를 강력하게 전달함’은 핵심 역량 중 ‘비판 지성’과 연관되면서 세부적으로는 비판적 사고 역량을 측정할 수 있게 한다. 한편 ‘도입부가 잘 갖추어져 있고 글의 목적과 화제, 논의의 필요성 등을 매력적이고 명확하게 제시하여 독자의 흥미를 유발함’의 경우 핵심 역량 중 ‘비판 지성’과 관련되면서, 텍스트를 체계적으로 구조화하는 능력을 보여주는 것이다. 루브릭 개발의 다음 단계에서 최고 수준 성취 목록은 평가 차원에 따라 분류되는 한편 세부 역량에 따라서도 분류될 것이다.
3단계 ‘분류 및 명명하기(grouping and labeling)’에서는 먼저 최고 수준 성취 목록을 수행의 성격을 기반으로 분류하고, 하나로 묶인 요소들의 전체를 명명하는 용어를 상정하였다. 상정된 용어들은 곧 과제의 평가를 위한 평가 차원으로 기능한다. 루브릭을 통해 평가하는 대상은 과제 수행의 결과물이므로 루브릭의 평가 차원은 수행의 성격에 따라 설정된다. 앞에서 나열한 최고 수준 성취 목록을 수행의 성격에 따라 평가 차원에 배치한 결과는 <표 7>과 같다.
3단계 : 분류 및 명명하기 - 최고 수준 성취 목록의 평가 차원상 분류
여기서 한 가지 더 이루어져야 하는 것은 최고 성취 수준 목록의 세부 역량 요소별 분류와 그 분류 범주의 명명이다. 본 연구에서 개발하고자 하는 루브릭은 과제 자체를 평가하기 위한 것일 뿐 아니라 과제 수행을 통해 향상시킬 수 있는 역량이 무엇이며 그 수준은 어떠한지를 함께 밝히는 것이기 때문이다. 위에서 제시한 최고 수준 성취 목록을 역량에 따라 다시 분류하면 <표 8>과 같다.
3단계 : 분류 및 명명하기 - 최고 수준 성취 목록의 역량별 분류
전체 목록에 대하여 위와 같은 과정을 거쳐 도출된 세부 역량 요소들을 핵심 역량 요소의 하위에 배속시킨 결과는 <표 9>와 같다15).
3단계 : 분류 및 명명하기 - 핵심 역량 및 세부 역량
한편, 성취 수준은 세 단계로 세분화하고 각 단계를 발전, 능숙, 우수로 명명하였다. 성취 수준의 구분과 각 단계를 지시하는 명칭을 정할 때 중요하게 고려한 것은 루브릭이 과제의 성취 수준을 쉽게 인지하고 판단할 수 있도록 하면서도 학생의 학습 의욕을 저하하지 않도록 해야 한다는 것이다. 성취 수준이 너무 다양하게 세분화되어 있을 경우 학생들은 루브릭이 복잡해서 자신 혹은 타인의 과제를 평가하기가 어렵다고 느낄 수 있다. 또한 성취 수준의 명칭이 우열의 위계를 부각하는 방식으로 설정되어 있다면 성취 수준이 낮은 과제를 제출한 학생은 좌절감이나 소외감을 느껴 과제 수행에 대한 의욕을 잃을 수 있고, 반대로 성취 수준이 높은 과제를 제출한 학생은 상대적 우월감으로 과제를 개선하려는 노력을 멈출 수 있다. 이에, 과제의 성취 수준을 발전이 필요한 상태, 능숙하게 수행한 상태, 우수하게 수행한 상태로 구분할 수 있도록 하였다.
루브릭 개발의 마지막 단계인 4단계 ‘적용하기(applying)’에서는 3단계에 걸쳐 작성한 목록과 분류 및 명명한 요소들을 매트릭스형 표를 활용한 루브릭에 정리하였다. 가로축에는 성취 수준을, 세로축에는 역량 요소를 배열하였다. 모든 평가 요소에 대하여 세 단계의 성취 수준을 기술하고 평가 차원별로 표를 제작하였다.
3.3. 예비 평가 결과 및 시사점
본 연구에서는 루브릭 초안의 타당도와 효용성 검증을 위해 예비 평가를 실시하였다. 예비 평가를 위해 K대학교 현장에서 심화 글쓰기 과목을 운영하고 있는 4인의 평가자를 섭외하였으며, 예비 채점 참여자의 정보는 <표 10>과 같다. 각 평가자에게 무기명의 학술에세이 과제 결과물 3편을 제공하고 개발한 루브릭을 활용하여 평가를 진행하도록 하였다. 평가에 적용하기에 부적합하거나 불편한 지점이 있다면 지적할 것을 요청하였다. 4인의 평가가 완료된 후 결과를 명시적으로 비교하기 위하여 성취 수준을 수치화하였다. ‘발전’은 1점, ‘능숙’은 2점, ‘우수’는 3점으로 점수화하였다.
예비 채점 참여 교원 정보
먼저 채점자별 평가 결과를 점수화한 내용은 <표 11>과 같다.
예비 채점 결과 평균
같은 루브릭으로 평가에 적용한 결과를 보면 채점자 A, C는 다소 엄격한 경향성이 나타났는데, 특히 채점자 C의 경우 잘 쓴 글에서 더 엄격하게 적용함을 확인할 수 있다. 채점자 A, B는 텍스트 2에, 채점자 C, D는 텍스트 1에 가장 높은 수준이라고 평가한 점도 차이가 있다. 참고로 텍스트별 전체 평균은 텍스트 2가 가장 높게 나타났다.
다음으로 영역별 결과를 점수화한 것은 <표 12>와 같다.
영역별 결과 평균 및 순위
예비 채점에서는 1영역인 ‘주제 및 내용’, 6영역인 ‘어문 규범’의 점수가 상대적으로 높게 나왔다. 반면 3영역 ‘문체’, 7영역 ‘문서 편집’ 부분에서 낮게 나왔다. 이러한 내용을 통해 주제나 내용 면에서는 잘 썼더라도 문체나 문장, 편집 등의 형식적 영역에 소홀히 하거나 오류가 많다면 해당 영역들의 성취 수준에 도달하지 못한 것으로 간주될 수 있다는 시사점을 얻을 수 있다.
다음으로 세부 요소별로 평가 결과가 두 단계 이상 차이가 나는 항목을 모아 제시하면 <표 13>과 같다.
채점자별 평가 결과 두 단계 이상 차이 나는 항목
텍스트 1과 2에서 차이 나는 항목들이 나타났으며, 잘 쓴 글에서 채점자 간 의견 차이가 많이 나는 것을 확인할 수 있었다. 특히 채점자 C와 채점자 B, D 간의 의견 차가 큰 편이었다. 주관적 판단이 들어갈 수밖에 없는 루브릭 활용 평정 과정에서 어느 정도의 차이가 발생하는 것은 어쩔 수 없는 일이지만 ‘구조’ 영역의 ‘구조적 균형’, ‘제목 및 소제목’이나 ‘어문규범’ 영역의 ‘인용 및 참고문헌’과 같이 성취 수준이 비교적 명시적으로 드러나는 항목에서 차이가 발생했다는 것은 수준 구간별 성취 기준이 좀 더 명확하게 제시되어야 할 필요성을 제기한다.
다음으로는 채점자 간 의견이 일치한 항목들을 <표 14>에 제시하였다. 당연한 결과이겠지만 3개의 텍스트 중 가장 낮은 점수가 나온 텍스트 3에서 채점자 간 완전 일치 항목이 가장 많이 나왔다. ‘7. 문서 편집’의 경우 전체적으로 평가 영역 중 가장 낮은 점수를 얻은 항목 중 하나인데, 그중 ‘시각화’가 모든 요소 중 가장 평균 점수가 낮게 나왔다.
예비 채점 결과와 채점 참여자들과의 소통을 통해 얻은 시사점을 정리하면 다음과 같다.
첫째, 성취 수준에 대한 평가 결과는 평가자의 기대 성취 수준이나 경향에 따라 달라질 수 있다. 1~3점으로 점수화한 평가 결과의 평균 점수를 보면, 동일한 학술 에세이에 대하여 평가자 A는 1.77점을, B는 2.19점을, C는 1.64점을, D는 2.13점을 부여하였다. 평가자 B는 대체로 평가를 후하게 하는 경향을 보여, 모든 학술에세이에서 평가자 B의 평가를 점수화한 수치가 가장 높은 것으로 나타났다. 이는 루브릭에 의한 평가가 가급적 다양한 평가자에 의해 이루어질 필요가 있으며 성적 산출에 활용 시 보완점이 필요함을 말해 준다.
둘째, 평가 결과가 평가자의 기대 성취 수준 또는 경향에 따라 달라질 수는 있지만, 성취 수준이 완전히 다르게 평정되지 않는 경향이 있었다. 예를 들어, 텍스트2의 ’주제 및 내용’ 영역 평균 점수를 보면 평가자 A, B, C, D의 결과는 각각 2.33점, 2.50점, 1.67점, 2.17점으로 나타났다. 가장 높은 점수와 낮은 점수 간 편차는 0.83점으로 유의미한 수준의 차이가 나지만, 세부 요소 각각의 평가 결과를 보면, 상반된 판단이 이루어지지는 않았음을 알 수 있다. 가장 높은 점수를 준 평가자 B의 경우 모든 요소를 ‘우수’ 또는 ‘능숙’으로 평가하였다. 가장 낮은 점수를 준 평가자 C는 ‘우수’로 평가한 요소가 없었고 ‘능숙’ 또는 ‘발전’으로만 평가하였다. 그런데 C가 ‘발전’으로 평가한 요소를 B가 어떻게 평가하였는지 보면, 모두 ‘능숙’으로 평가하고 있다. 즉, 한 평가자가 ‘우수’한 수준이라고 평가한 요소에 대해 다른 평가자가 많은 ‘발전’을 요하는 상태로 평가하는 경우는 비교적 적게 발생한다는 것이다. 이는 개발된 루브릭이 평가자들에게 혼란을 일으키지 않으며 객관적 척도로서 기능할 수 있는 가능성이 있음을 방증한다.
셋째, 개발된 루브릭은 절대적인 척도가 될 수 없으며 수업 현장에서 쓰이면서 수정될 수 있다. 루브릭의 평가 기준을 과제에 적용할 때 평가자의 주관이 개입되는 것은 필연적이다. 다양한 채점자들이 루브릭을 활용한 평가에 참여하는 과정을 거치면서, 오인이나 상반된 해석을 불러일으킬 수 있는 표현을 배제하고 최대한 명료한 판단을 가능하게 하는 방안을 모색해야 한다. 이를 위해 용어, 분류 체계, 수행의 성취 수준에 대한 기술 등을 성찰하며 개선해 나가야 한다. 또한, 루브릭이 대학의 학습자에게 요구되는 역량 수준을 가늠하게 하고 역량의 향상을 촉진하는 도구로서 적절하게 기능하는가에 대한 고찰 역시 지속되어야 한다. 일단은 본 예비 채점에 참여한 참여자들은 이 루브릭이 글쓰기 수업에서 산출한 학술 담론 텍스트 평가에 활용하기 적합하다고 평했다. 채점자들은 루브릭이 수업에서 목표로 하는 과제를 평가하는 데에 필요한 기준을 전반적으로 포괄하고 역량 요소에 대한 판단을 가능하게 하며, 기술된 성취 수준에 따라 과제를 평가하기에 복잡하지 않고 용이하였다고 평하였다.
3.4. 전문가 감수 및 최종안 도출
본 절에서는 앞서 진행한 예비 채점 결과를 염두에 두고 루브릭 초안의 타당성을 검증하기 위하여 전문가 감수를 실시하였다. 감수에 참여한 전문가는 관련 박사 학위를 취득한 글쓰기 교과목 관련 교원 5인으로 구체적인 정보는 <표 15>와 같다.
전문가 감수 참여 교원 정보
채점자 간 평가 결과 일치 항목
루브릭 초안을 직접 서면으로 전달하거나 온라인으로 파일을 발송하였으며, 비구조화 서면 면접법으로 개방형 질문을 통해 감수자가 자유롭게 의견을 제시할 수 있도록 하였다. <표 16>은 전문가 감수에서 도출된 주요 의견과 그 반영 방안을 정리한 것이다.
루브릭 초안에 대한 전문가 감수 주요 의견
<표 16>과 같이 전문가 의견을 반영하였다.16), 표에 제시한 주요 사안 외에 예비 채점의 시사점을 고려하고 지엽적인 부분까지 수정, 보완하여 루브릭 최종안을 개발하였다. 최종안에는 총 7개의 평가 차원을 설정하였다.17), 7개 평가 차원은 주제와 내용, 구조, 문체, 문장, 어휘, 어문 규범, 문서 편집이다. 앞의 6개 평가 차원이 학술 담론 텍스트 자체에 대한 것이라면, 마지막 차원은 학술 담론 텍스트의 문식 실천(literacy practice)에 필수적으로 요구되는 디지털 도구 활용에 대한 것이다. 루브릭 최종안은 <표 17>과 같다.
K대학교 학술 담론 글쓰기 과목 글쓰기 과제의 역량 평가 기반 루브릭
4. 결론
본 연구는 대학 교양 과정의 글쓰기 과목에서 과제 수행의 결과물로 산출되는 초보적 학술 담론 텍스트의 평가에 주목하였다. 대학 글쓰기에 관한 선행 연구 가운데 평가에 관련된 연구는 상대적으로 적은 편이며, 특히 역량 기반 평가를 글쓰기 과목과 접목한 연구는 매우 드물다. 역량 기반 교육 과정을 지향하고 강조하는 흐름 속에서, 어떠한 역량이 얼마나 계발되었는가를 측정하기 위한 도구의 개발은 요긴한 과제라 할 수 있다.
본 연구에서는 K대학교 교양 과정 심화 글쓰기 과목에서 기말 과제로 제출하는 학술 담론 텍스트 평가를 위한 루브릭을 개발하였다. 이 루브릭은 과제의 수행이 목표로 하는 역량이 무엇인지 명시하며, 과제의 평가를 위한 요소들을 체계화하여 제시하고, 각 요소가 어떠한 역량과 관련되며 수행 수준별 특성이 어떠한지를 알 수 있게 한다. 루브릭을 수업 과정에서 활용하면서 학생은 학술 담론 텍스트에 대한 학습과 결과물 산출이 구체적으로 어떠한 역량의 신장에 기여하는지를 이해하고 이를 바탕으로 학습 목표를 달성해 나갈 수 있다.
이 루브릭은 수업 현장에서의 실제적 활용을 지향하며, K대학교의 핵심 역량 및 교과목 기반으로 고안되었다. 국내 대부분의 대학이 사실상 그 내용이 대동소이한 핵심 역량을 설정해 두고 있고, 학술 담론 텍스트 산출을 위한 수업 과정은 대학마다 공통적으로 설치되어 있다. 이러한 점을 고려할 때, 본 연구의 루브릭이 K대학교 사례를 기반으로 설계되었더라도 여타 대학의 글쓰기 수업에서 활용 가능한 기초 자료로 기능할 수 있을 것으로 기대된다.
한편 본 연구에서는 박사학위 이상의 전문가 감수를 주된 타당도 검증 자료로 제시하였으나, 예비 채점의 인원이 소수라는 한계가 있다. 또한 루브릭은 현장에서 계속 사용되며 수정 및 보완되어야 한다. 따라서 후속 연구에서는 본 연구에서 도출된 루브릭을 좀 더 많은 표본을 대상으로 두 명 이상의 채점자가 교차 채점하여 평정 결과를 분석할 필요가 있다. 또한 내국인과 동일한 글쓰기 교과목을 수강하는 외국인 학생의 비율도 높아지고 있는 만큼, 외국인 학생의 평가를 위한 루브릭에서 평가 척도의 성취 수준 기술에 차별성을 둘 필요가 있을지에 대해서도 검토할 수 있을 것이다.
본 연구의 루브릭 개발과 그 활용 가능성 모색이 역량 기반 교육 과정을 실질적으로 강화하는 데 기여할 수 있기를 기대한다.
References
Notes
학술 담론 텍스트는 난이도별로 학위논문에서부터 보고서나 계획서, 서술형/단답형 답안 등 여러 유형이 있다. 김성숙(2011, p.21)에서 ‘학문 목적 한국어 쓰기 능력’은 ‘다양한 학술 담론 텍스트를 산출하는 과제를 수행하면서 특정한 주장이나 견해를 한국어로 논증하는 데 필요한 문어 구사 능력’으로 정의한다. 김성숙(2011) 에서는 글쓰기 수업의 직접 쓰기 시험 답안을 가장 난이도가 낮은 초보적 학술 담론 텍스트로 규정하고 기초 한국어 쓰기 능력 평가의 척도를 개발한 바 있다. 본 연구에서도 심화 글쓰기 수업의 기말 과제로 제출하는 텍스트를 ‘초보적 학술 담론 텍스트’로 규정하고 연구 대상으로 삼았다.
Brookhart(2013, p.4)에서는 루브릭이 평가에 활용되지만 평가적이지 않고 기술적이라고 언급하며 수행 결과에 대한 ‘판단’보다 수행 결과를 수행 수준별 기술과 ‘연결’하는 데 초점이 있음을 강조한다. 평가가 제대로 이루어지려면 적절한 준거와 잘 작성된 수행 기술이 필요하다고 볼 수 있는 것이다.
루브릭 개발 모형 선정의 근거와 해당 모형에 대해서는 이후 자세히 기술하여 여기에서는 생략한다.
김정숙, 백윤경(2019)에서 살펴본 대학 글쓰기 평가 관련 연구는 총 71편(2018년 11월 기준)으로, 대학 글쓰기 관련 연구가 1,000여 편이 넘는 것(유인선, 2023)에 비해서는 비율이 높지 않다는 것을 알 수 있다.
글쓰기의 여러 측면과 기준에 따라 평가를 하는 분석적 평가(analytic assessment)와 전체적인 인상에 의거하여 전반적으로 평가하는 총체적 평가(holistic assessment) 는 여기에서 더 구체적으로 설명하지 않는다.
김원경(2016)의 경우 쓰기 교육과 평가가 분리되는 점을 문제로 제시했으나 대학 글쓰기 수업의 경우 일반 목적 한국어 교육 현장의 쓰기 수업과는 다르게 과정 중심으로 운영되는 경우가 많다. 따라서 본 연구에서는 과정 중심 쓰기 수업을 통해 최종적으로 산출된 텍스트를 평가하는 것에 초점을 두고 루브릭 개발을 진행하고자 하였다.
해당 연구의 핵심역량은 이광우 외(2008)를 기준으로 창의력, 문제해결능력, 의사소통능력, 정보처리능력, 대인관계능력, 자기관리능력, 기초학습능력, 시민의식,국제감각, 진로개발능력 총 10가지로 제시하고 있다. 다만 이 10가지 역량은 국내 초⋅중등학교 교육과정 중심의 핵심 역량이고, 이광우 외(2008:142-143)에서는 고등교육에서 강조해야 할 핵심역량으로 사고력, 문제해결능력, 의사소통능력, 정보처리 및 기술 활용 능력, 대인관계능력, 자기관리능력, 시민의식, 국제이해능력,문화감수성, 직무 태도, 기초 및 전문 지식의 11가지로 제시되고 있어 이에 대한 고려도 필요하다.
연구자는 학습자 요구 분석 결과를 근거로 이후에는 측정 도구에 주관식 글쓰기 문항을 포함하여야 한다고 언급하고 있다.
이는 본 연구에서 학술적 문식성을 ‘문어’ 기반으로만 적용해야 한다는 의미가 아니라 복합적 능력인 학술적 문식성이 글쓰기와 얼마나 긴밀한 관련성을 갖는지를 보여주기 위해 제시하였다.
Goldberg and Rosewell (2000, p.276)은 특정 과제에 너무 주의를 기울이는 활동을 ‘빈 활동(empty activity)’이라 지칭하며 무의미하고 평가 요소의 초점을 잘못 맞춘 활동이 될 수 있음을 지적했다.
평가 루브릭의 유형은 평가 방식에 따라 분석적(analytic) 루브릭과 총체적(holistic) 루브릭으로 나뉘고, 수행 기술 방식에 따라 일반형(general) 루브릭과 특정 과제형(task-specific) 루브릭으로 나뉜다(Brookhart, 2013, pp.6-11).
K대학교 심화 글쓰기 교과의 표준 강의 계획서를 기준으로 거시적 학습 목표를 설정하되 일부 보완하였다.
6대 핵심 역량의 목록은 다음과 같다. 비판 지성(Critical Analysis), 학문 탐구(Class Leading Scholarship), 의사소통(Communication Skills), 세계 시민(Civic Engagemnet), 도전 정신(Challenging Mind), 창의 융합(Creative&Convergent Thinking)
지면의 제약상 전체 목록이 아닌 일부 목록을 제시하였다. <표 6>에 제시되지 않은 의사소통, 창의 융합 역량 및 그와 연계되는 거시적 학습 목표의 최고 수준 성취 목록은 <표 15>의 해당 역량 요소의 수행 기술 중 ‘우수’ 단계와 동일하다. 이어 루브릭 개발 모형 3단계 기술에서도 역시 <표 6>의 목록들을 통하여 개발 과정을 예증할 것이다.
핵심 역량과 세부 역량 간 연계성에 대한 이해를 돕기 위해 개발 모형 1단계에서 제시했던 핵심 역량 정의를 다시 표에 포함시켰다.
전문가 감수 의견 중 논쟁적 요소를 내포하는 것이 핵심 역량과 세부 역량의 연계가 적절한지에 대한 지적이다. 이는 각 핵심 역량의 정의와 직결되는 문제인데,본 연구는 K대학교의 정의를 따르고 있다. 본 연구가 대학 수업 현장에서의 실제적 활용을 지향하고 있기 때문이다. 앞서 서술하였듯 핵심 역량 자체가 넓은 범주의 수행 능력을 포괄하는 개념이 될 수밖에 없기 때문에, 각 세부 역량이 두 개 이상의 핵심 역량과 관련되는 것으로 보이는 경우가 발생한다. 이런 경우 세부 역량의 성격이 K대학교의 정의를 기준으로 어느 핵심 역량에 가장 가까운지를 따져 해당 핵심 역량의 하위로 세부 역량을 배속시켰다.
평가 차원의 설정에는 Brookhart (2013, pp.40-43)에 소개된 6+1 특성 글쓰기 루브릭을 참고하여 과제 특성에 부합하도록 변용하였다. 이 루브릭에서 말하는 6가지 특성은 아이디어, 글의 구조, 문체, 단어 선택, 문장의 유창성, 어문 규범이며, 학습 목표에 따라 포함 여부가 달라지는 ‘+1’ 평가 요소는 발표이다. 6+1 특성 글쓰기 루브릭의 효과는 전문가 의견과 연구 결과에 의해 입증되었으며, 미국 전역의 글쓰기 교수 학습법을 바꿔 놓았다고 말해도 지나치지 않다고 하였다.