대학 글쓰기는 학습 결과를 평가하고 학생들의 학습 과정을 안내하며 학습자의 문해력을 측정하는 데에 핵심적이고도 유용한 분야로 평가받고 있다. 대학에서 글쓰기 교과는 대체로 필수로 이수해야 하는 과목으로 한 교수자가 많은 학생을 담당해야 하므로 교수자에게 글쓰기 피드백은 큰 부담이 아닐 수 없다. 따라서 대규모 글쓰기 평가를 위하여 자동 평가의 시스템 등이 요구되며, 최근에는 AI를 기반으로 한 글쓰기 자동 평가 시스템이 마련되기도 하였다. 본 연구에서는 AI 기반 글쓰기 자동 평가의 연구 동향을 살펴봄으로써 대학 글쓰기 평가 도구로 AI 피드백 도구의 활용 가능성을 탐색하고자 한다.

최근 대학 교육은 기술 발전, 경제 변화, 사회적 요구 등 다양한 요인에 의해 지속적으로 변화하고 있다. 특히 AI 기술의 발전은 교양교육에 새로운 도전을 요구하기도 하고 새로운 기회를 제공하기도 한다. AI 시대의 교양교육은 포스트휴먼 시대에 새로운 세계관이 자라나는 성장 세대의 인식과 가치관에 부합하도록 교양 기초교육의 방향이 재설정될 필요성이 있다(손승남, 2020).

교양교육의 대외적 위기는 전통적 교육모델의 고수로 인한 혁신 부족, 기술적 발전의 충분한 활용 부족, 변화하는 사회적 요구에 대응 미비 등으로 나타난다. 이에 대응하기 위해서는 AI 시대에 맞는 교양교육의 혁신, AI 리터러시와 다양성 존중, 융복합 협력 구축, 학생 피드백을 반영한 지속적인 교육 프로그램 평가와 개선 등의 대책을 마련해야 한다.

교양교육을 학생들의 요구를 반영하여 개선 및 발전되어야 한다. 교양교육에 대한 학생들의 요구는 ‘사회변화를 반영한 교육내용’, ‘문제의 해결과정 학습’, ‘학습자 수준을 고려한 교육’으로 나타났다(안미영, 2023). 이는 학습자 스스로가 새로운 AI 기술의 변화에 적응하며 이를 활용하여 사회 문제에 대한 해결 능력을 갖추도록 교양교육이 이루어져야 함을 뜻한다. 따라서 AI 기술을 활용하여 생각을 확장하고 문제 해결력을 기르는 역량이야말로 더욱 더 중요해진다. 그렇기에 대학의 글쓰기 교양교육도 학습자가 AI 기술을 자신의 글에 적용해 보고, 비판적으로 검증해 보는 방식으로 바뀌어야 한다. 이뿐만 아니라 AI와 협업하여 자신의 글을 수정하면서 AI를 올바르게 활용할 수 있는 AI 리터러시를 함양하도록 해야 한다.

앞으로 학령인구가 줄어들며 문해력의 저하가 심각해지는 시점에서 대학의 글쓰기 교육은 새로운 방향을 제시하지 않으면 안 된다. AI 디지털 시대를 살아가는 학습자에게 실용적이면서도 미래지향적인 교육을 하기 위해서라도 교양교육은 AI를 활용하여 AI 리터러시를 함양하도록 변화할 수밖에 없는 것이다. 특히, 박남기(2023)에서도 ‘스말로그(smart+analogue)’ 교육을 제안하면서 생성형 AI와 협업하는 글쓰기로 교양교육의 패러다임이 변화해야 한다고 논의하였다.

이처럼 대학의 글쓰기 교양교육에서는 시대 변화와 함께 학습자의 요구를 반영한 교수법이 다양하게 개발되어야 한다. 이 연구에서는 AI 도구를 활용한 평가 피드백이 학습자에게 교육적 효과를 거둘 수 있는지를 학생 인식 조사를 토대로 살펴보고, 나아가 AI 평가 피드백 도구를 반영한 교수-학습 방안을 개발하는 데에 고려할 사항들을 논의하고자 한다. 이 연구는 미래 사회를 대비하기 위하여 대학의 글쓰기 교양교육의 변화를 도모하기 위하여 AI 자동 평가 피드백 도구를 활용한 대학 글쓰기 수업 사례 분석할 것이다. 이 연구를 통해 기술적 발전과 대학 글쓰기 교양교육의 사회적 요구에 대응하는 방안을 모색하고, 나아가 이 교육적 경험을 통해서 AI 글쓰기를 위한 통찰력을 제공할 수 있을 것이다.

이 논의에서 연구 대상은 <표 1>과 같이, 연구자가 가르치고 있는 S대학교 교양교육 교과목 ‘독서와 표현’, ‘사고와 글쓰기’, ‘대학 글쓰기’ 수업을 듣는 수강생 115명을 대상으로 하였다. ‘독서와 표현’은 교양 기초 공통 교과목으로 교양 필수 과목이고, ‘사고와 글쓰기’는 교양 선택 과목으로 1학년을 대상으로 한다. ‘대학 글쓰기’는 심화교양 수업으로 1~4학년까지 다양하게 분포해 있다. 연구 대상을 특정 전공과 학년으로 제한하지 않은 이유는 앞으로의 교양교육은 다양한 전공과 학년을 망라하여 핵심역량을 갖추는 방향으로 나아가야 하기에 선택적 집단에서 나타나는 결과 분석보다는 포괄적으로 학생들의 인식을 반영하고자 했기 때문이다. 이 교과목을 수강하는 학생들은 다양한 전공으로 이루어져 있으며, 수강생은 강의계획서에 따라 한 편의 ‘논리적 글쓰기’를 제출해야 한다. ‘논리적 글쓰기’에서 ‘논증’이란 ‘논거’를 바탕으로 자신이 설정한 ‘주제’를 전개하는 것이다. ‘논리적 글쓰기’ 역량은 대학에서 신입생이 학문적 공동체로 입문하기 위하여 필수적으로 갖추어야 하며, 사회의 다양한 현상을 이해하고 분석하며 해석하는 과정으로써 주제를 탐구하는 과정을 거친다는 점에서 중요하다. 이뿐만 아니라 논리적 글쓰기의 과정은 사고의 표현이나 글쓰기의 도구적 속성의 특성을 지닌다(김규훈, 2024).

이 연구에서는 경험적 글쓰기, 정보전달 글쓰기, 창의적 글쓰기와 같은 여러 가지 글쓰기 중에서도 ‘논리적 글쓰기’가 과정별 글쓰기를 이해하고 핵심역량을 신장하기에 제일 적절하다고 보았다. 더욱이 AI 글쓰기 자동 피드백 도구를 활용하기 위해서도 기존 교양교육 과정에서 제시하는 글쓰기 교과목의 핵심역량을 반영해서 구성할 필요가 있다. 이는 AI 글쓰기 평가 피드백 도구가 얼마만큼 핵심역량을 증진하는 데에 도움이 될지 관련된 연구에 이 연구 결과를 지속적으로 반영하기 위함이다. 학습자가 ‘논리적 글쓰기’의 과제를 수행하는 데에 있어서 AI 글쓰기 평가 피드백을 통해서 핵심역량을 키울 수 있도록 수업 내용을 구성한다.

이 연구를 진행한 S대학교 교양교육 교과목은 5개의 핵심역량인 ‘자기주도, 융복합, 소통, 도전, 문제해결’을 증진하도록 설계되어 있다. 구체적으로는 ‘자기주도’ 역량으로, 자기 생각을 AI 피드백을 통해 자기주도적으로 수정하고, 자신의 글을 스스로 평가해 볼 수 있다. ‘융복합’ 역량으로는 다양한 텍스트를 융복합적으로 활용할 수 있는 역량으로 AI 자동 평가 프로그램에서 구현하고 있는 오류 분석 결과를 스스로 이해하여 자신의 글에 융복합적으로 반영할 수 있다. ‘문제해결’ 역량은 자신이 완수해야 할 논리적 글쓰기의 과업을 효과적으로 달성할 수 있도록 문제해결 역량을 함양하는 것을 말하는데, AI 도구를 활용하여 고쳐쓰기의 과정을 이해할 수 있다. 수업에 AI 자동 평가 도구를 활용하면 ‘자기주도, 융복합, 문제해결’의 역량이 더욱 강화될 것으로 기대한다.

학습자는 수업 과제로 한 편의 논리적 글쓰기를 제출해야 한다. 수업에서는 3차시에 걸쳐 논리적 글쓰기의 과정을 이론적으로 배우고 1차시를 실습으로 구성하여 학습자 스스로가 AI 자동 평가 프로그램을 활용하여 피드백 결과를 반영한 글을 제출하도록 하였다. 과제 평가 점수와 별도로 AI 글쓰기 활동 점수를 부여하여 AI 자동 평가 피드백 도구를 활용하여 자신의 글을 점검해 보고 수정하는 과정을 반영하고자 하였다. AI 자동 평가 점수는 평가에 반영하지 아니하고 학생 스스로가 AI 피드백 결과를 검토하여 글의 완성도를 높이도록 했다. 이러한 활동이 학습자에게 글쓰기에 대한 동기를 부여하고 AI 활용 역량을 함양하는 데에 도움이 될 것으로 판단했다.

연구 대상이 되는 S대학교 교양교육원에서는 2024학년도 1학기부터 AI 글쓰기 피드백 도구를 교과목에서 활용할 수 있도록 ‘투블럭 에이아이’에서 운용하고 있는 ‘키위(Keewi, Korean Essay Evaluation with AI)’를 선정하였다.3) 물론 챗GPT와 같은 대규모의 생성형 AI를 활용할 수도 있다. 챗GTP는 명령어(prompt)를 입력하면서 글을 생성하고 작성한 글을 검토하는 데에 초점이 맞추어진 데에 비해, ‘키위’ 프로그램은 글 통계 자료를 제시하며, 6가지 평가 기준에 따라 장르에 맞도록 글을 평가한다. 평가뿐만 아니라 학생이 쓴 글에 대해 문단별 피드백 정보를 제시하고 있어 체계적인 피드백을 받을 수 있다는 장점이 있다. ‘키위’는 좋은 글로 판단되는 학습 데이터를 기반으로 개발된 AI 글쓰기 평가 피드백 기술로 표준화된 평가 기준과 글 데이터를 채점한 결과 정규 분포를 따르는 것이 확인되었다. 최근 에듀테크 서비스를 제공하는 다양한 기업이 생겨나고 있지만 ‘키위’는 AI 글쓰기 자동 평가와 피드백에 특화된 도구이자 평가 기준이 제공되어 추후 평가 결과를 논의하는 데에도 적절할 것이라 판단하여 ‘키위’ 도구를 선정하였다. 나아가 ‘키위런(학습자용)’과 ‘키위티(교수자용)’으로 구분되어 교수자가 학습자의 글쓰기 평가 피드백 결과를 확인할 수 있다는 점에서도 효과적이다. 교수자가 학습자의 명령어를 일일이 확인하기 어려운 챗GPT보다 ‘키위’ 도구를 통해서는 교수자가 학습자의 글쓰기 피드백 내용을 일괄적으로 파악하기 용이하다는 장점이 있다. 실제 AI 도구를 선정하기 위하여 교양 수업에서 마련한 AI 글쓰기 수업 절차는 [그림 1]과 같다.

연구 절차는 다음의 5단계로 진행되었다. [그림 1]에서 보듯이, 1단계로는 대학 교양수업에서 활용할 수 있는 AI 글쓰기 자동 평가 프로그램인 ‘키위티’와 ‘키위런’의 사용법을 학기가 시작하기 전에 교강사 워크숍을 통해서 교수자 교육을 진행했다. S대학의 교양교육원에서는 다분반 수업의 표준화를 마련하고 균질한 수업 운영이 되도록 학기의 시작과 마무리에 교강사 워크숍을 진행하고 있다. 2단계로는 강의계획서에 AI 글쓰기 피드백과 관련된 내용을 제시하고 수업 오리엔테이션 때에 학생들에게 이와 관련된 내용을 명시적으로 공지하였다. 미리 회원 가입을 하고 교수자 인증이 필요한 부분이므로 사전 안내가 필요하다고 판단하였다. 교수자는 다분반 수업에서 클래스를 구분하여 교수자 인증을 요청한 수강생을 배치하는 작업을 진행하고 AI 자동 평가를 적용할 글쓰기 과제를 부여한다. 필자는 각기 다른 교과목이라 하더라도 글의 종류를 ‘논리적 글쓰기’로 동일하게 적용하여 대학 교양수업에서 필요한 비판적 사고와 논증에 대한 글을 쓰도록 과제를 정하였다. 3단계에서는 학생들에게 논리적 사고와 글쓰기 이론 수업을 진행하였다. 글쓰기의 과정에 따라 계획하기, 집필하기, 수정하기의 단계를 설명하고, 논리적 글의 구조와 예시를 통해 경험적 글쓰기와 무엇이 다른지 교수-학습하였다. 논리적인 단락 쓰기를 위하여 소주제문과 보충문의 구조를 연습하고 주제를 정하도록 하였다. 4단계로 AI 자동 평가 프로그램을 한 단락 쓰기 및 초고 쓰기 피드백으로 활용하였다. 컴퓨터 실습실에서 ‘키위런’을 활용하여 자신이 작성한 논리적 글쓰기의 초고에 대해 AI 피드백을 받도록 하였다. 흥미롭게도 교실에서 글쓰기 과정을 조별로 피드백할 때에는 소극적으로 참여하던 학생들도 AI 피드백을 실시할 때에는 능동적으로 참여하고 있음을 관찰할 수 있었다. 학생 대부분은 낙오되지 아니하고 AI 글쓰기 피드백 실습에 적극적으로 임하였다. 처음에는 AI로부터 자신이 쓴 글을 평가받는다는 점에 낯설어하기도 하였지만 AI가 잡아낸 오류를 보고 작성한 글을 이내 수정하는 등 마치 게임에서 점수를 올리듯이 문법, 어휘, 맞춤법 등의 오류를 수정해 나갔다. 적게는 2~3회, 많게는 50회 이상 AI 피드백 사항을 수정하면서 자신의 글을 다듬어 가는 과정을 관찰할 수 있었다.

[그림 2]는 AI 자동 평가 도구인 ‘키위런’을 활용한 학습자의 논리적 글쓰기 피드백 결과다. 좌측은 학생의 글에 대한 내용 분석이 이루어지며, 우측은 글자 수, 문단 수, 문장 수, 긴 문장, 예상 독자 나이, 읽기 쉬운 정도와 같은 글 통계 자료가 제시된다. 우측 하단에는 6가지 지표인 ‘문법, 어휘, 표현, 문장, 조직, 주제’에 근거하여 평가를 보이고 있다. 평가 기준에 따라 아래에 문단별로 피드백을 제시하고, 현재 점수를 제공한다. 키위런에서는 좋은 글의 6가지 특성을 기준으로 제공하고 있는데 이는 수만 개의 글 데이터를 채점하여 정규 분포를 보여 타당도가 높고 신뢰도 높은 객관적 평가라고 할 수 있다. 그렇지만 이 6가지의 기준이 대학생의 ‘논리적 글’을 평가하기 적합한 것인지는 좀 더 검증이 필요하다. 왜냐하면 대주제 및 문단 내에서 소주제의 긴밀성이나 맥락에 적절한 의미적 구성 등에 대해서는 AI 평가가 충분하게 이루어지지 못한다는 아쉬움이 있기 때문이다. 이와 같이 대학 글쓰기의 평가 기준에 대하여 구자황(2020)에서는 전국 수준에서 대학 글쓰기 평가 항목과 기준을 마련해야 하며, 대학 글쓰기 교육 목표와 대학 글쓰기 평가의 유기적 선순환 구조의 설계가 필요하다고 논의하였다.

‘키위’의 내용 분석으로는 글에서 개선할 부분에 대하여 도움말을 제공하며 잘된 부분에 대해서도 피드백을 제시한다. 이는 학습자에게 스스로 자신의 글의 긍정적, 부정적 부분을 파악할 수 있도록 하여, ‘자기주도적’으로 부족한 부분의 글쓰기의 ‘문제 해결’을 하도록 하는 기능을 한다. 실제로 학생의 예시를 살펴보니 ‘중심 내용과 어울리는 단어 비율이 비교적 높다(75.6%)’라고 정량적으로 제시하며, ‘주장하는 글로, 글의 장르에 알맞게 구성하여 작성했다’라고 정성적으로 평가한다. 아직 완성된 글이 아니므로 ‘조직’에는 다소 낮게 평가되었다. 교수자는 학생들이 제출한 결과를 ‘키위티’의 과제 관리에서 확인할 수 있고 수정 횟수를 확인할 수 있다. 교수자가 학생마다 글쓰기의 과정을 확인할 수 있다는 점에서 AI 글쓰기 평가 도구는 편리하며, 학습자도 AI 피드백을 토대로 자신의 글을 수정하면서 완성도를 높일 수 있다는 측면도 긍정적으로 작용한다.