대학생 필자의 글쓰기 과정에서 챗GPT에 대한 질문 양상 연구 －쓰기 수준별 필자 집단의 비교를 중심으로
Aspects of Questioning ChatGPT in the Writing Process of College Student Writers : Focusing on Comparison between Writers Groups by Writing Level
Article information
Abstract
이 연구는 대학생 필자가 글쓰기 과정에서 챗GPT를 어떻게 활용하는가를 쓰기 수준별 필자 집단의 ‘질문’ 양상 측면에서 분석하여 그 특성을 밝히는 데 목적을 두었다. 이를 위해, 대학생 필자 60명이 작성한 <챗GPT 활용 일지>에 나타난 331개 질문을 쓰기 과정별 질문의 빈도 및 연속성, 세 종류의 질문 유형 기준에 따라 분석했다.
그 결과, ⑴ 대학생 필자들은 ‘내용 생성하기’ 과정에 편중된 질문 양상을 보였고, ‘연속 질문’보다 ‘일회적 질문’을, ‘주도적 질문’보다 ‘의존적 질문’을, ‘구체적 질문’보다 ‘일반적 질문’을 주로 사용했다. 챗GPT에게 요구하는 기능 면에서는 ‘정보(제시)’, ‘평가’, ‘창안’, ‘적용’, ‘분석’ 유형의 순서로 많은 질문이 발생했다. ⑵ 쓰기 수준에 따른 상위 집단과 하위 집단의 질문 양상은 매우 대조적으로 나타났다. 상위 집단은 ‘연속적’, ‘주도적’, ‘구체적’ 질문을 상대적으로 빈번히 사용했고, 챗GPT에 대한 요구 기능 면에서 다양한 질문을 구사하는 경향을 보였다. 반면, 하위 집단에서는 이와 상반되는 양상과 함께 ‘의존적⋅창안’ 질문으로 인한 챗GPT의 비윤리적 사용 문제가 주목되었다.
이상을 바탕으로 향후 ‘질문 교육’의 방향성을 모색했다. ⑴ 글쓰기 교육의 장에서 ‘질문 교육’의 방향성은 ‘학습자 쓰기 능력의 우선적 신장’이라는 목표하에 설정되어야 한다. ⑵ 질문 방법의 교육에 앞서, 질문의 다양한 유형 교육이 필요하다. ⑶ 쓰기 과정별 유용한 질문 유형 및 질문 순서 전략을 기존의 글쓰기 교육 내용과 발전적으로 연계하여 교육해야 한다. ⑷ ‘창안’ 질문 사용에 대한 교수자와 학습자의 합의를 매우 구체적인 차원에서 도출할 필요가 있다.
Trans Abstract
The purpose of this study is to reveal the characteristics of how college student writers use ChatGPT in the writing process by analyzing the ‘question’ aspect of the writer group according to the writing level. To this end, 331 questions appearing in the <Log using ChatGPT> written by 60 students were analyzed according to the criteria of three question types, as well as the frequency and continuity of questions for each writing process.
As a result, ⑴ college writers showed a bias in their question patterns concerning the process of ‘creating content’, asking ‘one-time questions’ rather than ‘continuous questions’, ‘dependent questions’ rather than ‘initiative questions’, and ‘general questions’ rather than ‘specific questions’. In terms of functions required of ChatGPT, many questions arose in the order of ‘information (presentation)’, ‘evaluation’, ‘creation’, ‘application’, and ‘analysis’. ⑵ The question patterns of the upper and lower groups according to the writing level contrasted greatly. The upper group used ‘continuous’, ‘initiative’, and ‘specific’ questions relatively more, and showed a tendency to ask various questions in terms of request functions for ChatGPT. On the other hand, in the subgroup, attention was paid to the problem of the unethical use of ChatGPT due to the ‘invention’ question along with the contrasting aspect.
Based on the above data, this studey indicated four areas that future ‘Question Education’ should take into consideration. First, in the field of writing education, the direction of ‘question education’ should be set under the goal of ‘priority improvement of learners’ writing ability’. Second, prior to education on question methods, various types of questions should be taught. Third, useful question types and question sequence strategies for each writing process should be developed in connection with existing writing education contents. Finally, an agreement between the teacher and the learners concerning the use of ‘invention’ questions must be drawn up in a very specific manner.
1. 서론
미국의 Open AI사가 개발한 생성형 인공지능 챗봇인 챗GPT(ChatGPT)가 2022년 11월 30일 공개된 이후, 챗GPT는 공개 2개월 만에 전 세계의 월간 이용자 수가 1억 명에 도달할 만큼 빠르게 대중화되었다. 2023년 6월 현재 15억 명 이상인 챗GPT의 이용자 수가 전월보다 소폭 감소한 이유 중 하나로 ‘학생들의 방학으로 인한 과제 작성 용도의 이용수 감소(Hu, 2023)’가 언급될 만큼, 챗GPT의 주요 이용자 집단 중 하나가 학생들이라는 점에서 교육 분야는 코로나19 이후 다시 큰 도전에 직면하게 되었다.
문제의 핵심은 학생들이 챗GPT에게 과제 작성을 맡기고 자신의 글인 것처럼 제출하는 ‘AI표절(AIgiarism)(Hern, 2022)’이 일어날 경우, 이를 정확히 탐지하기 어렵다는 데 있다. ‘AI표절’은 과제를 통한 교육의 효과를 무화(無化)하여 학습자의 성장 계기를 차단하고, 평가의 왜곡을 초래하며, 글쓰기 수행을 통한 문식성의 발달을 저해한다. 그러나 ZeroGPT를 비롯한 현재의 표절 탐지기만으로는 아직 학생들의 챗GPT 사용 여부를 온전히 탐지할 수 없어(노대원, 홍미선, 2023, p. 81), 2023년 1학기의 교육 현장은 큰 혼란에 빠질 수밖에 없었다.
이러한 혼란 속에서 교육 현장의 대응은 크게 세 가지 방식으로 나타났다. 첫째는 학생들의 챗GPT 사용을 전면 금지하는 것이다. 미국 뉴욕의 모든 공립대학에서 챗GPT의 접속을 원천 차단하거나, 도쿄대를 비롯한 다수의 일본 대학에서 챗GPT의 사용 자체를 부정행위로 간주할 것을 공표한 것이 그 사례다(조영훈, 2023). 둘째는 학생들의 챗GPT 사용을 모른 척하는 것이다. 이는 공식적인 대응이라고 볼 수는 없으나 실제 2023년 1학기의 교육 현장에서 많은 교수자들이 취한 태도로서, 당황 또는 무관심 속에서 학생들의 챗GPT 사용 가능성을 배제하고 기존의 교육 방식을 고수한 경우이다. 셋째는 학생들의 챗GPT 사용을 거부할 수 없는 시대적 흐름으로 받아들이고, 챗GPT를 교육의 도구로서 올바르고 효과적으로 활용하는 방안을 모색하는 것이다. 성균관대에서 ‘챗GPT 종합안내 홈페이지’를 개설하고 챗GPT의 교육적 활용을 위한 교수자와 학생의 다양한 활용 방법을 제안하거나, 미국 하버드대의 컴퓨터과학 입문 수업에서 챗GPT를 활용하여 학생들의 결과물에 대한 조언이나 평가를 제공하는 것(Diaz, 2023) 등이 그러하다.
2023년 1학기가 종료된 현시점을 기준으로 할 때 교육 현장에서는 점차 세 번째 방식이 현실적으로 가장 타당한 대응이라는 공감대가 형성되고 있는 것으로 보인다. 2023년 4월 27일 교육부와 한국교육학술정보원이 주최한 <고등교육에서 인공지능을 활용한 교수법 세미나>에는 1100명 이상의 대학 교수자가 참여하여 대학교육에서의 챗GPT 활용 방안에 대해 논의했고, 이 외에도 대학 및 학회 차원에서 챗GPT를 교육적 도구로서 활용하는 방안을 모색하는 포럼 및 세미나가 다양하게 개최되고 있다.
이러한 공감대는 글쓰기 교육의 영역에서도 점차 이루어지고 있는 것으로 보인다. 아직 그 사례가 많지는 않으나, 연구자들은 대체로 챗GPT로 대표되는 생성 인공지능을 쓰기 교육의 현장에 올바르게 도입하기 위한 논의를 시작하고 있다.
강동훈(2023)과 장성민(2023a)은 가장 먼저 챗GPT가 쓰기 교육에 미칠 전반적인 영향을 고찰하고, 대응 방안을 모색한 연구이다. 강동훈(2023)은 챗GPT 기능의 고도화가 초래할 문제점을 쓰기 교육 전반에 대한 도전, 쓰기 윤리 문제의 심화, 거짓 정보의 확산으로 규정하고, 대응 방안으로 쓰기 교육의 본질 재정립, 인공지능 활용 쓰기 윤리 원칙 마련 및 쓰기 윤리 교육 강화, 비판적 문식성 교육 강화를 제시했다. 장성민(2023a)은 챗GPT로 대표되는 인공지능의 시대에 필요한 작문 능력을 질문 생성 능력, 메타적 읽기 능력, 출처 확인 및 보강 능력으로 규정했다. 그리고 향후 작문의 회귀적 속성, 기초 문해력, 저작권과 쓰기 윤리의 중요성에 대한 인식이 높게 유지될 것으로 전망했다.
한편, 장성민(2023b)은 포스트 챗GPT 시대의 작문 평가 담론을 위한 예비적 논의로서 생성 인공지능 기술이 인간의 쓰기 능력을 어느 수준까지 포괄할 수 있는가를 검토했다. 쓰기 능력의 다섯 가지 발달 단계에 대응하는 쓰기 양식들을 챗GPT에게 작성하게 한 결과, 챗GPT가 해당 양식의 글쓰기를 대체로 성공적으로 수행한다는 사실을 확인했다. 이를 바탕으로, 그는 포스트 챗GPT 시대에 인간의 쓰기 능력을 바라보는 관점에 적지 않은 변화가 일어날 것이며, 기존의 작문 평가 척도가 인간과 생성 인공지능 모두를 고려하는 형태로 바뀔 것임을 전망했다. 또한 노대원, 홍미선(2023)은 쓰기 교육을 포함한 교육 전반에서 챗GPT를 이용한 글쓰기 표절 문제를 극복하고 교육의 재설계를 할 수 있는 교수학습의 방향을 모색했다. 학습자의 학습 관점을 전환하는 교육 설계, 학습 경험을 촉진하는 교육 설계, 사고력을 촉진하는 교육 설계의 방향을 제시했다.
이상의 연구들이 챗GPT를 쓰기 교육에 도입하기에 앞서 필요한 이론적 논의를 수행했다면, 오선경(2023)은 실제 대학생들의 챗GPT 활용 글쓰기 경험에 대한 인식을 조사했다. A대학의 교양과목인 <라이프아카데미>의 수강생 62명에게 챗GPT를 활용한 에세이 쓰기를 하게 한 뒤 해당 경험에 대한 설문조사를 실시한 것이다. 그 결과, 다수의 학생들은 글쓰기의 효율성을 높이는 도구로서 챗GPT를 긍정적으로 인식한다는 점, 정보 수집 및 아이디어 생성의 목적으로 챗GPT를 많이 이용한다는 점, 챗GPT가 제공한 정보의 질과 신뢰도의 문제를 지적했다는 점을 보고했다.
이처럼 글쓰기 교육의 영역에서 챗GPT를 올바르게 도입해야 할 필요성과 당위성에는 점차 광범위한 공감대가 형성되고 있음에도, 아직 도입의 구체적인 방안 및 도입 사례에 대한 연구는 매우 부족한 실정이다. 특히, 학생들이 글쓰기 과정에서 챗GPT를 어떻게 활용하는가를 실제 수행의 차원에서 분석한 연구는 찾아보기 어렵다. 교육의 대상이 되는 학생들의 수행 양상에 대한 구체적인 이해가 전제되어야 보다 효과적인 교육 방안에 대한 논의가 이루어질 수 있음은 물론이다. 학생들이 챗GPT에게 어떤 질문을 하고, 챗GPT에게 받은 답변을 자신의 글에 어떻게 통합하는지에 대한 고찰이 필수적이다.
이에 이 연구는 대학 글쓰기 교육 현장에서 대학생 필자의 챗GPT 활용 양상을 실제적으로 고찰하여 보다 생산적인 논의를 위한 토대자료를 구축하고자 한다. 이 연구의 목적은 대학생 필자가 글쓰기 과정에서 챗GPT를 어떻게 활용하는가를 ‘질문’1) 양상의 측면에서 분석하여 그 특성을 밝히는 데 있다. 구체적으로, 이 연구는 대학생 필자 60명이 교양 글쓰기 강좌에서 부과받은 논증적 글쓰기 과제를 수행하는 데 있어 쓰기 과정(계획하기⋅내용 생성하기⋅내용 조직하기⋅작성하기⋅고쳐쓰기)별로 얼마나 많은 질문을 하고, 어떠한 유형의 질문을 하는지의 양상을 필자가 작성한 <챗GPT 활용일지>를 통해 고찰할 것이다. 또한 이 과정에서 쓰기 수준별 필자 집단에 따른 질문 양상의 차이를 함께 검토함으로써 향후 글쓰기 교육 현장에서 챗GPT에 대한 ‘바람직한’ 질문 방법을 어떻게 교육해야 할지에 대한 단초를 마련하고자 한다.
2. 연구 방법
2.1. 연구 참여자
이 연구에는 서울 소재 A대학교의 2023학년 1학기 <대학글쓰기> 강좌 3개 분반의 대학생 60명이 참여했다. A대학교는 필수교양 글쓰기 강좌를 2학년 대상으로 운영하고 있어, 60명의 학생 중 3학년 재수강생 2명을 제외한 58명의 학생은 이전에 대학 글쓰기 강좌 수강 경험이 없는 2학년 학생이었다. 또한 해당 강좌는 계열별 글쓰기 강좌로서, 3개 분반의 학생은 전원 인문사회계열 전공자였다. 3개 분반의 최초 참여 인원은 62명(분반당 20~21명)이었으나, 강좌 중도포기자 및 과제 미제출자 2명은 자료 분석 과정에서 제외했다.
2.2. 연구 절차 및 방법
연구는 챗GPT 3.5버전이 대중에게 공개된 2022년 11월 30일 이후 첫 학기인 2023년 1학기의 1~6주차(3월 2일~4월 12일) 동안 시행되었다. 각 주차별 2회(각 75분)의 강의실 내 수업 및 개별 학생들의 강의실 밖 실습은 <표 1>과 같이 진행되었다.
연구 절차
첫 번째 단계로, 1주차에 오리엔테이션을 실시했다. 학생들의 챗GPT 사용 경험 및 인식에 대해 조사하고, 변화하는 문식 환경에 대응하여 글쓰기 수행 시 챗GPT를 효과적⋅윤리적으로 활용하는 능력을 함양할 필요성이 있음을 강조했다. 또한 챗GPT의 기본적인 사용법 및 자동 번역 프로그램 ‘프롬프트 지니’의 설치 방법에 대해 설명했다. 이후, 학생들은 수업 외 실습으로 챗GPT와 자신의 전공, 진로, 관심사 등에 대해 대화하며 친숙해지는 시간을 가졌다.
두 번째 단계로, 2~5주차에는 글쓰기 과정에 대한 교수⋅학습을 시행하되 학생들이 매 주차의 학습 내용을 반영하여 글쓰기 과제를 수행해나가고, 해당 과정을 <챗GPT 활용 일지>에 기록하게 했다.
먼저, 2주차의 전반부에 학생들에게 글쓰기 과제를 부과하고 ‘챗GPT 활용 지침’ 및 <챗GPT 활용 일지> 작성법에 대해 안내했다. 과제는 교수자가 제시한 네 가지 시사적 이슈2), 중 하나를 선택하여, A4 1장 분량으로 이슈에 대한 자신의 주장을 논증하는 글을 작성하는 것이었다. 또한 ‘챗GPT 활용 지침’은 <표 2>와 같이 제시했다. 이는 글쓰기 과제 수행 시 챗GPT 활용에 대한 대학 차원의 방침이 제시되지 않은 상태에서 챗GPT의 문제점에 대한 국내외의 언론 기사 및 논문(Deng & Lin, 2022; Susnjak 2022; Zhai, 2022 외)을 참조하여 연구자가 작성한 것으로, ‘주체적 사고’, ‘비판적 평가’, ‘윤리적 사용’의 세 가지 사항을 강조했다.
<대학 글쓰기> 강좌에서 챗GPT 활용 지침
또한 학생들에게 <챗GPT 활용 일지> 양식(<표 3>) 파일을 배부했다. 일지에는 학생들이 글쓰기 과제를 수행하는 일련의 과정에서 챗GPT와 나눈 문답을 모두 기록하고, 챗GPT에게 받은 답변에 대한 만족도를 평가한 뒤 해당 답변의 사용 여부를 이유와 함께 기술3)하게 했다. 학생들이 글쓰기의 어떤 과정에서 챗GPT를 빈번히 활용하는지 고찰하고자, ‘글쓰기의 전 과정을 합하여 최소 3회 이상 챗GPT와 대화를 나누어야 한다’는 지침 외 과정별 이용 횟수에 대해서는 제한을 두지 않았다. 또한 일지의 마지막에는 글쓰기 과제 수행 과정에서 챗GPT를 활용한 경험에 대한 성찰적 글쓰기(분량: 500자 이상 자유)를 수행하게 했다.
<챗GPT 활용 일지> 양식
안내 이후, 2~5주차 동안은 강의실에서 글쓰기 과정에 대한 교수⋅학습을 진행하고, 강의실 밖 실습 과제로서 학생들에게 학습 내용을 적용하여 글쓰기 과제를 수행하며 이를 <챗GPT 활용 일지>에 기록하게 했다. 예를 들어, 3주차에 강의실에서 ‘내용 생성하기’ 과정에 대해 학습한 후 학생들은 해당 주차의 과제로서 자신이 작성할 글의 자료를 찾고 내용을 생성하며 챗GPT와 대화를 나누고 해당 내용을 일지에 기록했다.
세 번째 단계로, 6주차 1차시에 강의실에서 초고를 작성했다. 강의실에서 교수자의 입회하에 초고를 작성하게 한 것은 ‘챗GPT 활용 지침’ 3-(1)항에도 불구하고 원고의 일부나 전부의 작성을 챗GPT에게 맡기는 학생이 발생할 수 있는 가능성을 최소화하기 위한 것이었다. 이후, 2차시에는 강의실에서 ‘고쳐쓰기’ 과정에 대한 교수⋅학습을 진행했고, 학생들은 강의실 밖 실습으로 초고에 대한 고쳐쓰기 과정을 수행한 완성고를 6주차 종료 시 제출했다. 또한 완성고 작성 후 챗GPT에 대한 성찰적 글쓰기를 수행(일지 5번)하여 <챗GPT 활용 일지>도 함께 제출했다.
2.3. 자료 분석 절차 및 방법
연구에 참여한 60명의 학생들로부터 챗GPT 활용 경험에 대한 성찰적 글쓰기 자료가 포함된 <챗GPT 활용 일지> 60편과 논증적 글 60편4)이 수집되었다. 수집한 자료는 다음과 같이 분석하였다.
먼저, <챗GPT 활용 일지> 60편에 나타난 쓰기 과정(계획하기⋅내용 생성하기⋅내용 조직하기⋅작성하기⋅고쳐쓰기)별 질문의 개수를 산정했다. 과정별 질문은 기본적으로 학생들 자신이 일지 1번 항목에 보고한 사항을 기준으로 산정하되, 질문 내용을 확인하여 해당 쓰기 과정이 명백히 잘못 기입된 경우에는 연구자가 이를 조정했다(예 초고 작성일 이후의 일지에 “다음 문장(필자가 작성한 문장-인용자)이 문법적으로 맞아?”를 ‘내용 생성하기’ 과정의 질문으로 표기한 경우: ‘고쳐쓰기’ 과정의 질문으로 조정). 또한 ‘일회적 질문’과 ‘연속 질문’의 개수를 산정했다. ‘일회적 질문’이란 챗GPT의 답변을 받은 후 필자가 추가적인 질문을 하지 않고 문답을 종료했을 경우의 질문이고, ‘연속 질문’은 필자가 챗GPT의 답변에 대해 후속 질문(들)을 하여 문답이 2회 이상 진행되었을 경우의 질문을 말한다. ‘연속 질문’의 경우, 최초의 질문을 제외한 후속 질문(들)의 개수를 산정했다.
다음으로, 질문의 유형을 세 가지 분류 기준에 따라 분석했다. 첫째로, 챗GPT와 문답하는 ‘필자의 태도’를 기준으로 <표 4>와 같이 질문을 분류했다. 이는 필자가 사전에 생성한 아이디어나 작성한 글을 중심으로 하여 그에 대한 문답을 주도적으로 진행하는가, 또는 그러한 준비 없이 순전히 챗GPT의 답변에 의존하는 문답을 수행하는가를 판단한 것이다. 필자의 생각이나 글에 대한 질문인지의 여부에 따라 답변의 초점과 성격이 크게 달라질 수밖에 없으므로, 문답에 임하는 필자의 주도성 여부를 가장 먼저 점검했다.
필자의 태도에 따른 질문 유형
둘째로, 필자가 챗GPT에게 질문을 입력할 때 ‘기술(記述)의 구체성’에 따라 <표 5-1>과 같이 질문을 분류했다. 널리 알려진 바와 같이, 챗GPT는 질문을 구체적으로 하고 원하는 답변의 형식을 상세히 요구할수록 사용자가 원하는 답변을 제공한다(변문경 외, 2023, p. 23). 이에, 학생들이 글쓰기의 수사적 상황 맥락에 대한 정보 및 챗GPT의 답변 형식에 대한 요구사항을 충분히 제시하지 않은 채 일반적이고 광범위하게 질문을 기술하는지, 또는 구체적인 수사적 상황 맥락 및 답변 형식에 대한 요구사항을 상세히 기술하는지 여부를 확인했다. 이때 수사적 상황 맥락에는 챗GPT에게 요구하는 필자의 입장/역할, 예상독자, 글의 목적, 장르, 과제의 요구사항이, 답변 형식에는 답변의 문체, 표현 형태, 내용의 구성/구조, 분량 등이 포함된다(<표 5-2>). 수사적 상황 맥락과 답변 형식의 요소들 중 일부에 대해서만 구체적으로 서술했을 경우에도 ‘구체적 질문’으로 산정했다.5)
기술(記述)의 구체성에 따른 질문 유형
⒝ ‘구체적 질문’의 구성 요소
셋째로, 필자가 ‘챗GPT에게 수행할 것을 요구하는 인지작용(기능)’이 무엇인가에 따라 <표 6>과 같이 질문을 분류했다. 이는 인지작용 분류 기준으로 널리 사용되는 Bloom(1956; Anderson et al.(Eds), 2021)의 여섯 가지 인지과정 요목(기억, 이해, 적용, 분석, 평가, 창안)을 부분 수정한 것으로, Bloom 요목의 첫 두 단계인 ‘기억’과 ‘이해’를 ‘정보(제시)’로 통합한 것이다. 인간 학습자의 경우를 전제로 한 Bloom의 분류에서는 장기기억의 정보를 단순 인출하는 ‘기억’과 정보의 의미를 평가하고 의미를 구성하는 ‘이해’가 유의미한 분류이다. 그러나 대규모언어모델(LLM)인 챗GPT의 경우, 사전 훈련된 지식과 언어 패턴을 활용하여 필자의 질문에 부합하는 정보를 제시하는 동일 작용을 한다는 점에서 ‘챗GPT의 기억을 요구하는 질문’과 ‘챗GPT의 이해를 요구하는 질문’을 분류하는 것은 유의미하지 않다고 판단하여, ‘챗GPT의 정보(제시)를 요구하는 질문’으로 통합하여 사용했다.
챗GPT에게 요구하는 기능에 따른 질문 유형
하나의 질문은 <표 4~6>의 세 가지 기준에서 다각도로 분석되었다. 예를 들어, “A제도에 대해 설명해줘.”는 A제도에 대해 필자가 미리 준비한 아이디어나 글을 전제하지 않고, 해당 정보가 필자의 글쓰기 맥락과 갖는 관련성을 구체적으로 기술하지 않으며, A제도에 대한 정보의 제시를 요구한다는 점에서 ‘의존적⋅일반적⋅정보’ 질문으로 분석되었다. 한편, “A제도에 대해 잘 모르는 고등학생 독자를 대상으로 A제도의 폐해를 설명하는 글을 쓰는데, 다음은 내가 쓴 서론이야. 고등학생이 이해하기 쉬우면서 A제도의 문제점이 잘 부각된 사례로 시작하고 있는지 평가해줘. (이하 서론 제시-생략)”는 필자가 작성한 글을 전제하고, 글쓰기의 구체적인 수사적 맥락 및 답변 형식에 대한 요구를 포함하며, 필자가 작성한 글에 대한 평가를 요구한다는 점에서 ‘주도적⋅구체적⋅평가’ 질문으로 분석되었다.
마지막으로, 학생들의 쓰기 수준을 상위⋅중위⋅하위로 분류하여, 수준별 집단의 특징적 양상을 분석했다. 쓰기 수준의 구분은 논증적 글에 대한 평가자 3인6),의 총체적 질 평가7), 점수 평균을 기준으로 했다. 아직 무엇이 ‘바람직한’ 챗GPT 활용 글쓰기인가에 대한 합의된 기준이 존재하지 않으므로, 평가자들에게는 필자가 작성한 챗GPT 활용에 대한 설명주 내용의 질은 판단하지 않고 글의 질만을 평가할 것을 요구했다. 다만, 설명주의 내용이 <표 2>(챗GPT 활용 지침) 3항을 위배한 ‘표절’에 해당하는 경우에는 해당 학생의 <챗GPT 활용 일지> 확인 후 최하 점수를 부여했다. 쓰기 수준별 집단을 분류한 이후에는 <표 4~6>의 기준을 적용한 양적 분석과 함께 이들의 ‘성찰적 글쓰기’에 나타난 특징적 양상을 질적 분석했다.
3. 연구 결과
연구 참여 대학생 60명으로부터 수집한 질문(프롬프트)은 총 331개로, 글쓰기의 전 과정에서 1인당 평균 5.52개의 질문을 사용한 것으로 나타났다. 가장 많은 질문을 한 필자는 14개, 가장 적은 질문을 한 필자는 3개를 사용했다. 수집된 질문 331개의 쓰기 과정별 빈도 및 연속성, 유형 및 특성을 분석한 결과는 다음과 같았다.
3.1. 대학생 필자의 쓰기 과정별 챗GPT에 대한 질문 빈도 및 연속성
대학생 필자가 글쓰기 과제 수행의 어떤 과정에서 챗GPT를 가장 많이 활용하는가를 점검하기 위해 쓰기 과정별 전체 필자(60명) 및 쓰기 수준별 필자 집단(상위⋅중위⋅하위 집단 각 20명)의 질문 빈도 및 연속성을 확인한 결과는 <표 7>과 같았다.
필자 집단의 쓰기 과정별 질문 및 연속 질문 수 (괄호 안:%)
먼저, ‘질문의 빈도’ 면에서 연구에 참여한 전체 필자의 쓰기 과정별 질문 수는 [내용 생성하기(60.7%) > 고쳐쓰기(15.1%) > 작성하기(12.4%) > 내용 조직하기(6.9%) > 계획하기(4.8%)]의 순서로 높게 나타났다. ‘내용 생성하기’ 과정에서 질문 빈도가 매우 높게 나타난 것은 학생들이 챗GPT를 정보 검색을 위한 도구로 인식하는 경향이 높은 반면, 쓰기의 다양한 과정에서 활용 가능한 협조자(collaborator)로 인식하는 경향은 낮다는 사실을 시사한다. “인터넷이나 도서관 자료를 많이 찾아야 했는데 이를 챗GPT가 대신 해주어서 진화된 검색 도구라는 생각이 들었다. 그밖에는 (‘내용 생성하기’ 외의 쓰기 과정에서-인용자) 어떤 질문을 해야 할지 어려웠다.”는 사례 필자J의 진술은 챗GPT의 주된 역할을 정보 검색 도구로 한정하여 인식하는 양상을 전형적으로 보여준다. 한편, ‘내용 생성하기’ 과정 다음으로는 ‘고쳐쓰기’ 과정에서의 질문 빈도가 상대적으로 높게(15.1%) 나타났다. 학생들은 자신이 작성한 문장의 오류를 점검하거나 글의 질을 평가하고 개선하기 위한 도구로서 챗GPT를 활용하는 양상을 보였다.
다음으로, ‘질문의 연속성’ 면에서는 일회적 질문이 281개(84.9%), 연속 질문이 26개(7.9%)8)로 일회적 질문의 비율이 매우 높게 나타났다. 즉, 대학생 필자 대부분은 챗GPT에게 질문을 하여 답변을 받은 뒤 그에 대한 추가적인 질문을 하지 않고 문답을 종료했다. 또한 연속 질문 중 22개는 1회만 후속 질문을 하고, 4개만이 2회의 후속 질문을 한 경우였다. 후속 질문(들)은 챗GPT와의 문답을 ‘대화’로 인식할 때 발생할 수 있는 것으로, 일회적 질문의 비율이 높은 것은 많은 학생들이 챗GPT를 정보 검색 도구로 한정하여 인식하는 경향을 보인 것과 동일 맥락의 현상인 것으로 해석된다.
한편, 필자 집단별 질문의 빈도 및 연속성 면에서의 차이는 다음과 같았다. 첫째, 전체적인 ‘질문의 빈도’ 면에서는 쓰기 수준이 높을수록 필자의 질문 수가 많은 경향을 보였다. 각 집단의 평균 질문 빈도는 상위 집단 6.25회(총 125회), 중위 집단 5.5회(총 111회), 하위 집단 4.75회(총 95회)로, 쓰기 수준이 높은 필자일수록 챗GPT와 보다 많은 문답을 수행했다.
둘째, 쓰기 과정별 ‘질문의 빈도’ 면에서는 상위 집단과 하위 집단의 양상이 대조적이었다. 상위 집단이 하위 집단에 비해 쓰기의 전(全) 과정에서 다양하게 질문하는 양상을 보였다. 상위 집단의 경우에도 ‘내용 생성하기’ 과정에서의 질문 빈도가 가장 높게(54.4%) 나타났으나, ‘계획하기’ 과정을 포함한 전 과정에서 상대적으로 다양하게 질문하는 양상을 보였다. “나는 챗GPT에게 다양한 인격을 부여하는 일종의 놀이를 했던 것 같다. SF영화에 나오는 다재다능한 로봇처럼 챗GPT는 자료를 찾아 보고하는 비서, 내 문장을 고쳐주는 빨간펜 선생님, 내 글의 논리에 대해 토론하는 조원의 역할을 해주었다.”는 상위 필자K의 진술은 그가 글쓰기 과정에서 챗GPT를 각기 다른 역할의 협조자로 상정하고 활용했음을 보여준다.
셋째, ‘질문의 연속성’ 면에서는 상위 집단의 필자일수록 챗GPT와 일회적 문답이 아닌 연속적 대화를 하는 경향이 특징적으로 발생했다. 전체 필자가 사용한 26개의 연속 질문 중 57.7%인 15개의 연속 질문이 상위 집단에서 발생했다. 반면, 하위 집단에서는 15.4%(4개)의 연속 질문만이 나타났다. 또한 중위 및 하위 집단의 경우, 연속 질문의 성격이 단순히 부연 설명을 요구하는 것(예 “(챗GPT의 선행 답변에 포함된 어휘인-인용자) 거버넌스가 무슨 뜻이야?”)이 대부분이었던 반면, 상위 집단 필자의 경우에는 챗GPT의 선행 답변의 문제점에 대해 반박하는 등 챗GPT와 토론하는 방식의 연속 질문을 사용하는 경향을 보였다. 후속 질문을 2회 사용한 상위 필자P의 경우, 챗GPT에게 ‘반려동물 보유세를 반대하는 입장’에 서서 주장을 논증할 것을 요구하고, 자신은 ‘반려동물 보유세를 찬성하는 입장’에서 이를 반박하는 방식(예 “학대와 유기를 막기 위해선 네 말처럼 교육과 보호제도가 필요하지. 그건 맞아. 하지만 (중략) 이럴 경우 단순한 처벌이나 교육으로 이 문제가 해결될까?”)으로 토론하며 필자 자신의 생각을 발전시키는 양상을 보였다.
3.2. 대학생 필자의 쓰기 과정별 챗GPT에 대한 질문 유형 및 특성
3.2.1. 계획하기 과정의 질문 유형 및 특성
계획하기 과정에서는 상위 집단 7개, 중위 집단 7개, 하위 집단 2개로, 총 16개(전체 331개 질문의 4.8%)에 불과한 질문만이 사용되었다. 계획하기 과정에서 필자는 글쓰기의 상황 맥락을 분석하고 화제, 주제, 독자, 목적을 설정한다(권순희 외, 2018, p. 115). 이 연구에서는 교수자가 제시한 네 가지 논제 중 하나를 선택하여 논증적 글을 쓰는 과제를 부과하여, 목적이 주어지고 주제를 설정하기도 수월하여 질문이 활발히 이루어지지 않은 것으로 보인다. 계획하기 과정에서의 질문 유형은 <표 8~9>9)와 같이 나타났다.
계획하기 질문 유형1, 2: ‘필자의 태도’ 및 ‘기술의 구체성’
계획하기 질문 유형3: ‘요구 기능’
먼저, ‘필자의 태도’ 면에서는 ‘의존적 질문(37.5%)’보다 ‘주도적 질문(62.5%)’이, ‘질문 기술의 구체성’ 면에서는 ‘구체적 질문(25.0%)’보다 ‘일반적 질문(75.0%)’이 많이 나타났다. 또한 ‘챗GPT에게 요구한 인지작용’ 면에서는 ‘정보(제시) 질문(56.3%)’과 ‘평가 질문(43.8%)’이 나타난 반면, 그 외 유형의 질문은 발생하지 않았다.
‘주도적 질문’이 많이 나타난 것은 과제에서 부과한 네 가지의 논제 중 필자가 손쉽게 하나를 선택하여 주제를 설정하고, 이와 관련된 질문을 하는 경우가 많았기 때문으로 보인다. 특히, 상위 집단에서는 ‘주도적 질문’의 발생률이 매우 높게(85.7%) 나타났다. 단, 필자가 주제를 선정한 상태에서 질문을 하는 경우에도 상위 집단은 이를 질문 상의 구체적 서술로 언급하는 경향이 높은 반면(57.1%)(아래 주도적⋅구체적⋅평가 질문 참조), 중위 및 하위 집단은 모두(100.0%) 일반적 서술로만 질문하는 경향을 보였다(예 “블라인드 채용을 폐지해야 한다면 차별주의자 같니?”).
필자 집단별로는 상위 집단과 중위 집단의 차이가 명확히 확인되었다. 상위 집단의 경우, 주도적⋅구체적⋅평가 질문을 자주(57.1%) 하는 경향을 보였다. 과제의 상황 맥락을 구체적으로 기술하고, 자신이 구체화한 화제나 설정한 주제를 평가받고자 하는 질문을 주로 사용했다(예 “인공지능이 인간의 삶을 이롭게 한다는 주장으로 A4 1장 분량의 글을 써야 하는데 인공지능의 범위를 좀더 좁히는 게 나을까?”) 반면, 중위 집단에서는 의존적⋅일반적⋅정보 질문이 많이(57.1%) 발생했다. “반려동물 보호세의 찬성파와 반대파 중에 뭐가 더 많아?”와 같이 주제를 설정하기 위한 배경지식을 확보하기 위한 목적의 질문이었다. 하위 집단의 경우, 계획하기 과정에서 질문을 거의 하지 않은 것(총 2개)이 특징적 양상이었다.
3.2.2. 내용 생성하기 과정의 질문 유형 및 특성
내용 생성하기 과정에서는 상위 집단 68개, 중위 집단 70개, 하위 집단 63개로 총 201개(전체 331개 질문의 60.7%)에 이르는 질문이 사용되어, 쓰기 수준과 무관하게 모든 집단에서 가장 높은 비율로 질문한 것으로 나타났다. 이는 앞서 기술한 바, 필자들이 기본적으로 챗GPT를 내용 생성을 위한 정보 검색의 도구로 인식 및 사용하는 경향 때문인 것으로 해석된다. 내용 생성하기 과정에서의 질문 유형은 <표 10~11>과 같이 나타났다.
내용 생성하기 질문 유형1, 2: ‘필자의 태도’ 및 ‘기술의 구체성’
내용 생성하기 질문 유형3: ‘요구 기능’
먼저, ‘필자의 태도’ 면에서는 ‘주도적 질문(13.4%)’보다 ‘의존적 질문(85.6%)’이, ‘질문 기술의 구체성’ 면에서는 ‘구체적 질문(17.9%)’보다 ‘일반적 질문(82.1%)’의 비율이 월등히 높게 나타났다. 또한 ‘챗GPT에게 요구한 인지작용’ 면에서는 ‘분석’ 유형을 제외한10) 모든 유형의 질문이 발생했으나, ‘정보(제시)’ 질문이 대부분(76.1%)이었고, 이후 ‘평가(10.0%)’, ‘창안(9.0%)’, ‘적용(5.05)’ 질문의 순서였다.
내용 생성하기 과정에서 모든 집단의 필자에게 가장 보편적으로 나타난 것은 의존적⋅일반적⋅정보 질문이었다. 필자들은 자신의 글에 포함할 정보를 수집하기 위한 다양한 질문을 사용했다. 주장을 뒷받침하는 이유나 근거를 수집하기 위한 질문(예 “챗GPT를 이용한 학생들의 과제 수행을 허용했을 때의 장점은 없을까?”, “블라인드 채용의 긍정적 사례로는 뭐가 있나요?”)이 주류를 이루었고, 기사 및 논문 자료 목록을 요구하는 질문(예 “AI를 이용한 학생들의 과제 수행 허용 여부에 대한 한국의 학술자료가 있을까?”)도 빈번히 나타났다. 단, 자료 목록을 요구하는 질문에 대한 만족도는 매우 낮았는데, 이는 연구가 수행된 2023년 3~4월에는 챗GPT가 존재하지 않는 자료를 실재하는 자료처럼 제시11)했기 때문이었다.
필자 집단별 특징적인 양상은 다음과 같았다. 우선, 상위 집단은 모든 집단 중 가장 ‘주도적(35.3%)’, ‘구체적(17.6%)’ 질문 유형의 사용 비율이 높았던 것과 더불어, ‘챗GPT에게 요구하는 기능’의 면에서도 가장 다양한 유형의 질문을 하는 양상을 보였다. 상위 집단은 ‘분석’ 질문을 제외한 모든 유형의 질문을 사용했는데, 이는 하위 집단에서 ‘정보(제시)’와 ‘창안’ 질문 유형만을 사용한 것과 대비되는 양상이다. 상위 집단에서 ‘정보(제시)’ 다음으로 높게(17.6%) 나타난 것은 ‘평가’ 질문으로, 필자가 생성한 논리구조의 타당성을 챗GPT에게 검증받고자 하는 질문(예 “반려동물 보호세 제도를 폐지해야 한다는 주장에 대해서 이유를 두 가지 쓸 거야. (두 가지 이유 설명-생략) 설득력이 있는 것 같아?”)이 자주 나타났다. 또한 ‘적용’ 유형의 질문도 타 집단에 비해 높게(8.8%) 나타났다. 이들은 수업시간에 학습한 지식이나 법칙을 자신이 생성한 내용에 적용해보는 질문을 사용했다(예 “(필자가 생각한 글의 논리 설명-생략) 이 내용을 툴민의 논증구조로 정리해줘. 주장, 이유1, 이유2…. 이렇게 항목 제목을 붙여서.”) 중위 집단 또한 상위 집단보다는 사례수가 적으나, ‘분석’ 질문을 제외한 모든 유형의 질문을 사용했다.
한편, 하위 집단에서는 ‘창안’ 질문이 모든 집단 중 가장 높게(14.3%) 나타났고, 대부분이 <표 2>의 ‘챗GPT 활용 지침’에 위배되는 비윤리적 질문인 문제적 양상을 보였다. 지침 3항에는 ‘원고를 작성해줘.’, ‘서론을 작성해줘’와 같이 글의 전부 또는 부분을 챗GPT에게 직접 작성하게 하는 것은 ‘표절’로 간주된다는 항목이 있고 이를 강조하여 고지했음에도, 하위 집단의 일부 필자들은 해당 항목의 의미를 교수자가 의도한 방식과 다르게 해석했다.
예를 들어, 하위 집단의 필자K는 “블라인드 채용을 유지해야 한다고 설득하는 글의 서론을 한 단락으로 3종류 써 봐.”라는 ‘창안’ 질문을 한 뒤 챗GPT가 제시한 세 종류의 서론 단락 중 하나를 자신의 글에 표현만 일부 수정하여 사용했음에도 해당 행위가 쓰기 윤리에 위배된다는 문제의식을 갖지 않았다. 오히려 ‘성찰적 글쓰기’에서 “챗GPT가 내 주장에 어울리는 도입부를 추천해줘서 빠르게 글을 쓸 수 있어 효율적이었다.”고 기술했고, 연구자가 해당 행위는 표절임을 지적하자 두 가지 이유(① 챗GPT에게 하나의 서론을 써달라고 한 것이 아니라, 챗GPT가 제시한 세 가지 방안 중 글에 어울리는 하나의 서론을 ‘선택’하고 ‘다듬는’ 행위를 했음, ② 글 전체를 작성해 달라고 한 것이 아니라, 해당 서론의 내용을 출발점으로 삼아 그에 어울리는 본론의 내용을 생성했음-이상의 내용은 연구자가 정리)를 들어 ‘표절’이 아닌 ‘효율적이고 주도적인 쓰기 수행’이라는 입장을 고수했다. 이러한 사례는 쓰기 교육 현장에서 챗GPT의 윤리적 사용에 대한 교수자와 학생의 표상이 매우 상이할 수 있으며, 따라서 매우 구체적인 차원에서 ‘표절’의 범위를 규정하고 지침 및 사례를 제시할 필요성이 있음을 시사한다.
3.2.3. 내용 조직하기 과정의 질문 유형 및 특성
내용 조직하기 과정에서는 상위 집단 12개, 중위 집단 6개, 하위 집단 5개로 총 23개(전체 331개 질문의 6.9%)에 이르는 질문이 사용되어, 계획하기 과정 다음으로 질문 사용의 비율이 낮았다. 이는 학생들이 챗GPT를 주로 정보 검색의 도구로 인식하여 내용 생성을 위해 집중적으로 이용한 점, 과제가 A4 1장 분량의 논증적 글을 쓰는 것이어서 내용 생성 과정에서 글의 논증구조를 구성하는 내용을 확보한 이후에는 이를 5개 단락 내외로 구조화하는 데 큰 어려움을 느끼지 않은 점 때문이었을 것으로 추정된다. 내용 조직하기 과정에서의 질문 유형은 <표 12~13>과 같이 나타났다.
내용 조직하기 질문 유형1, 2: ‘필자의 태도’ 및 ‘기술의 구체성’
내용 조직하기 질문 유형3: ‘요구 기능’
먼저, ‘필자의 태도’ 면에서는 ‘의존적 질문(43.5%)’보다 ‘주도적 질문(56.5%)’이, ‘질문 기술의 구체성’ 면에서는 ‘일반적 질문(47.8%)’보다 ‘구체적 질문(52.2%)’이 많이 나타났으나 차이는 크지 않았다. 또한 ‘챗GPT에게 요구한 기능’ 면에서는 ‘분석’ 유형을 제외한 모든 유형의 질문이 발생했는데, ‘평가(47.8%)’와 ‘창안(26.1%)’ 질문이 가장 많았고, 이후 ‘적용(13.4%)’, ‘정보(8.7%)’ 질문의 순서였다.
내용 조직하기 과정에서는 상위 집단과 하위 집단의 질문 사용 양상이 명확히 대비되었다. 상위 집단에서 발생한 질문은 모두 필자가 작성한 개요를 전제로 한 ‘주도적 질문(100%)’으로, 주로 해당 개요를 다양한 측면에서 ‘평가(75.0%)’해줄 것을 요구했다(예 “반려동물 보호세를 찬성하는 글의 개요인데 논리적이고 체계적인지 평가해줘. (필자가 작성한 개요 제시-생략)”). 또한 수업시간에 학습한 개념을 챗GPT에게 학습시키고, 자신의 개요에 해당 개념을 ‘적용(25.0%)’하여 제시할 것을 요구하는 질문도 나타났다(예 “(수업시간에 학습한 ‘구조문장’ 개념을 챗GPT에게 설명-생략) 이 개요를 논리적인 구조문장으로 바꿔 봐.”).
반면, 하위 집단에서는 의존적⋅일반적⋅창안 질문이 주류(80.0%)를 이루었다. 이들은 챗GPT에게 자신이 작성할 글의 논제에 대한 질문을 한 후, 챗GPT가 일정한 정보를 제시하는 답변을 하면 “위 내용을 개요로 정리해줘.”와 같은 ‘창안’ 질문을 하는 비윤리적 쓰기 양상을 보였다. 사례가 1개뿐인 ‘정보(25.0%)’ 질문의 경우, 챗GPT가 제시한 개요에 포함된 특정 개념의 의미를 묻는 연속 질문(“인공 초지능이 뭐야?”)으로 확인되었다.
3.2.4. 작성하기 과정의 질문 유형 및 특성
작성하기 과정에서는 상위 집단 15개, 중위 집단 12개, 하위 집단 14개로 총 41개(전체 331개 질문의 12.4%)에 이르는 질문이 각 집단에서 유사한 빈도로 사용되었다. 작성하기 과정에서의 질문 유형은 <표 14~15>와 같이 나타났다.
작성하기 질문 유형1, 2: ‘필자의 태도’ 및 ‘기술의 구체성’
작성하기 질문 유형3: ‘요구 기능’
먼저, ‘필자의 태도’ 면에서는 ‘의존적 질문(43.9%)’보다 ‘주도적 질문(56.1%)’이, ‘질문 기술의 구체성’ 면에서는 ‘구체적 질문(29.3%)’보다 ‘일반적 질문(70.7%)’의 비율이 높게 나타났다. 또한 ‘챗GPT에게 요구한 기능’ 면에서는 [‘정보(46.3%)’ > ‘평가(22.0)’ > ‘분석(12.2)’ > ‘적용(9.8)’ = ‘창안(9.8%)’]의 순서로 질문이 발생했다.
전체적으로는 ‘정보(제시)’ 질문이 가장 빈번히(46.3%) 나타나는 가운데, 다른 쓰기 과정에 비해 다양한 유형의 질문이 발생한 것이 특징적이었다. ‘정보’ 질문의 경우, 내용 생성 과정에서는 준비하지 못했으나 작성 중의 글에 포함될 정보를 즉각적으로 물어보는 경우가 모든 집단의 필자에게서 고르게 나타났다. 다만, 내용 생성 과정에서는 ‘의존적⋅일반적’ 질문이 주류였던 데 비해, 작성 과정에서의 ‘정보’ 질문은 작성 중인 글을 전제하고 해당 맥락에서의 구체적 필요성을 언급하는 ‘주도적⋅구체적’ 질문 형태인 경우가 더 많았다(예 “반려동물 보호세 제도의 필요성을 주장하는 글을 쓰면서 보호세 부과가 결국 보유자들에 대한 혜택으로 돌아갈 수밖에 없다고 하려 해. 근거로 들 만한 외국의 사례가 있어? 되도록 많은 국가의 사례를 말해줘.”).
필자 집단별로는 상위 집단과 하위 집단이 대비되는 양상을 보였다. 상위 집단에서는 하위 집단에서 1건도 발생하지 않은 ‘적용(26.7%)’과 ‘분석(20.3%)’ 질문이 발생했다. 상위 필자들은 자신의 의도대로 글이 작성되고 있는지를 챗GPT의 ‘분석’을 통해 확인하거나(예 “(필자가 이제까지 작성한 글 제시-생략) 이 글에서 각 문단의 중심문장을 찾아서 개요형식으로 나열해 봐.”), 문제가 있다고 여길 경우 특정 법칙이나 기준을 ‘적용’하여 작성된 글을 변형해줄 것을 요구했다(예 “다음 글의 단락들에서 소주제문이 모두 단락의 첫 문장으로 오게 문장 순서를 조정해 줘. (필자가 작성한 글 제시-생략)”).
한편, 하위 집단에서는 상위 집단에서는 6.7%밖에 나타나지 않은 ‘평가(35.7%)’ 질문의 발생 비율이 높았다. 상위 집단 필자가 작성 중인 글을 분석적으로 점검하거나 특정 법칙 및 기준의 적용을 통해 즉각적으로 조정하는 양상을 보인 반면, 하위 필자는 광범위한 수준의 평가(예 “(필자가 작성한 글 제시-생략) 논리적인가요?”)만을 요청하고 답변에 따른 후속 조치는 취하지 않는 경향을 나타냈다. 또한 앞선 쓰기 과정에서 문제가 되었던 ‘창안’ 질문(예 “(필자가 작성한 본론 제시-생략) 여기에 어울리는 결론을 제시해줘.”)도 여전히 발생했다(21.4%).
3.2.5. 고쳐쓰기 과정의 질문 유형 및 특성
고쳐쓰기 과정에서는 상위 집단 23개, 중위 집단 16개, 하위 집단 11개로 총 50개(전체 331개 질문의 15.1%)에 이르는 질문이 사용되어, 내용 생성하기 과정 다음으로 질문 사용의 비율이 높았다. 고쳐쓰기 과정에서의 질문 유형은 <표 16~17>과 같이 나타났다.
고쳐쓰기 질문 유형1, 2: ‘필자의 태도’ 및 ‘기술의 구체성’
고쳐쓰기 질문 유형3: ‘요구 기능’
먼저, ‘필자의 태도’ 면에서는 ‘의존적 질문(42.0%)’보다 ‘주도적 질문(58.0%)’이, ‘질문 기술의 구체성’ 면에서는 ‘구체적 질문(40.0%)’보다 ‘일반적 질문(60.0%)’이 높게 나타났다. 또한 ‘챗GPT에게 요구한 기능’ 면에서는 [‘정보(38.0%)’ > ‘평가(36.0)’ > ‘분석(14.0)’ > ‘적용(8.0)’ > ‘창안(4.0%)’]의 순서로 질문이 발생했다.
전체적으로는 모든 쓰기 과정 중 질문의 유형이 상대적으로 가장 편중 없이 분포한 양상을 보였다. 이는 초고의 미시적인 표현만 수정할 수도 있고, 광범위한 내용 수정을 할 수도 있는 ‘고쳐쓰기’ 과정의 특성 때문인 것으로 판단된다. 후자의 경우, 앞선 쓰기 과정 중 무엇으로도 회귀하여 문답을 진행할 수 있기 때문이다.
이는 필자 집단별 차이를 통해서도 확인된다. 상위 집단의 경우, 전 과정 중 유일하게 ‘의존적⋅일반적⋅정보’ 질문이 중위 및 하위 집단에 비해 높게(47.8%) 나타났다. 이는 상위 집단의 고쳐쓰기 과정에서 새로운 내용 생성을 위한 문답이 많이 발생했기 때문이었다. 이들은 주로 ‘주도적⋅구체적’인 ‘평가’ 질문(예 “(필자가 글을 쓴 맥락 설명 및 초고 제시-생략) 내 의도가 잘 구현된 것 같아?”) 또는 ‘분석’ 질문(예 “(초고 제시-생략) 내 글의 논리구조를 추출해서 개요의 형식으로 정리해봐.”)을 통해 초고를 광범위하게 점검한 뒤 필요하다고 판단되면 즉시 내용 교체 또는 보완을 위한 질문을 사용했다.
반면, 하위 집단에서는 ‘주도적⋅일반적⋅평가’ 질문의 비율이 타 집단에 비해 높게(45.5%) 나타났는데, 해당 질문 중 자신의 “글이 (전반적으로-인용자) 괜찮은지 평가”해 달라는 질문 1개(9.1%)를 제외하면 모두 문장 차원의 표현을 평가해줄 것을 요구하는 질문이었다. 중위 집단 또한 상위 집단에 비해 문장 차원의 평가를 요구하는 질문을 많이 사용했으나, 이들은 ‘주도적⋅구체적⋅평가’ 유형의 질문을 통해 자신의 요구사항을 하위 집단에 비해 정확히 제시하는 경향을 보였다. 예를 들어, 하위 필자의 경우 앞뒤 문장 없이 단일 문장만을 제시한 후 “이 문장은 문맥적으로 올바른 문장이야?”라는 오류가 있는 질문을 하는 양상을 보인 반면, 중위 필자 집단에서는 그와 같은 오류 양상은 나타나지 않았다. 중위 집단에서는 또한 “(필자가 작성한 참고문헌 목록 제시-생략) 이 목록을 MLA양식으로 바꿔주세요.”와 같은 ‘주도적⋅구체적⋅적용’ 유형의 질문도 나타났다.
4. 결론 및 제언
4.1. 요약
이 연구는 대학생 필자가 글쓰기 과제를 수행하는 일련의 과정에서 챗GPT에게 질문하는 양상을 분석하여 그 특성을 밝히기 위해 기획되었다. 특히, 쓰기 수준별 필자 집단의 질문 양상 차이를 확인함으로써 향후 대학 글쓰기 교육 현장에서 챗GPT를 교육의 도구로 활용하고자 할 때 바람직한 질문 방법을 어떻게 교육할지에 대한 방향성을 가늠해보고자 했다.
연구를 통해 확인된 주요 사항은 다음과 같았다. 첫째, 대학생 필자들은 전반적으로 질문의 형태 면에서 ‘연속 질문(7.9%)’보다는 ‘일회적 질문(84.9%)’을, ‘주도적 질문(30.8%)’보다는 ‘의존적 질문(69.2%)’을, ‘구체적 질문(25.3%)’보다는 ‘일반적 질문(74.6%)’을 주로 사용했다. 또한 챗GPT에게 요구하는 기능 면에서 [정보(제시)(61.0%) > 평가(19.6%) > 창안(9.1%) > 적용(6.6%) > 분석(3.6%)]의 순서로 많은 질문을 하는 양상을 보였다. 특히, ‘내용 생성하기’ 과정의 질문(60.7%) 및 ‘의존적⋅일반적⋅정보(제시)’ 질문(51.9%)의 비율이 전(全) 과정 및 유형에서 가장 높게 나타났는데, 이는 필자들이 챗GPT의 주된 역할을 정보 검색 도구로 한정하여 인식하는 경향 때문인 것으로 분석되었다.
둘째, 쓰기 수준별 필자 집단을 고찰했을 때 상위 집단과 하위 집단의 질문 양상에서 주목할만한 차이가 나타났다. 먼저, 질문의 형태 면에서 상위 집단에서는 ‘연속적(12.0%)’, ‘주도적(43.2%)’, ‘구체적(40.8%)’ 유형의 질문 비율이 타 집단에 비해 높았던 반면, 하위 집단에서는 ‘일회적(95.8%)’, ‘의존적(82.1%)’, ‘일반적(90.5%)’ 유형의 질문 비율이 높게 나타났다. 또한 상위 집단의 질문이 챗GPT에게 요구한 기능은 [정보(제시)(51.2) > 평가(27.2) > 적용(10.4) > 분석(6.4) > 창안(4.8)]의 순서로 상대적으로 다양한 유형 및 고른 분포를 보인 반면, 하위 집단 질문은 [정보(제시)(69.5) > 창안(18.9) > 평가(11.6) > 적용(0.0) = 분석(0.0)]의 순서로 유형 및 비중의 쏠림 현상이 나타났다. 특히, 하위 집단에서는 ‘챗GPT 사용 지침’을 통해 금지한 ‘의존적⋅창안’ 질문의 비율이 높게 나타나 챗GPT의 비윤리적 사용 문제가 주목되었다.
이러한 차이는 상위 집단과 하위 집단의 각 쓰기 과정 양상에서도 다양하게 확인되었다. 상위 집단의 경우, ‘작성하기’ 과정 중 ‘적용(26.7%)’과 ‘분석(20.3%)’ 질문을 타 집단에 비해 빈번히 사용하며 수업시간에 학습한 개념을 글쓰기에 적용하거나, 자신의 글이 의도대로 작성되는지 확인하는 양상, ‘고쳐쓰기’ 과정 중 먼저 ‘평가(30.4%)’ 및 ‘분석(21.7%)’ 질문을 사용하여 초고를 광범위하게 점검한 뒤 내용 생성을 위한 ‘정보(제시)(47.8%)’ 질문을 사용하는 순차적⋅전략적 질문 사용 양상이 확인되었다. 반면 하위 집단에서는 그와 같은 질문 사용 전략이 거의 고찰되지 않았으며, 비윤리적 ‘창안’ 질문의 높은 사용률과 더불어, 오류가 있는 질문의 사용 양상도 나타났다.
4.2. 챗GPT 활용 글쓰기에서 ‘질문 교육’의 방향성에 대한 제언
이상의 결과를 토대로, 앞으로 대학 글쓰기 교육 현장에서 챗GPT를 활용하고자 할 때 학생들에게 해야 할 ‘질문 교육’의 방향성에 대해 제언하면 다음과 같다.
첫째, 글쓰기 교육의 장에서 사용할 ‘바람직한’ 질문은 글쓰기 행위 자체의 효율성 측면에서가 아닌, ‘학습자 쓰기 능력의 우선적 신장’이라는 분명한 대전제 하에서 설정될 필요가 있다. 필자가 아이디어를 생성하거나 글을 작성하지 않은 상태에서 챗GPT에게 글의 전부 또는 일부를 ‘창안’할 것을 요구하는 질문은, 글쓰기 자체의 효율성을 높이는 데는 매우 효과적인 질문12),이 될 수 있다. 그러나 ‘학습자의 쓰기 능력 신장’을 목표로 하는 글쓰기 교육의 장에서 이러한 질문의 허용은, 아직 글에 대한 감식안과 기초 쓰기 능력을 충분히 습득하지 않은 학습자에게는 스스로의 쓰기 경험과 발전의 기회를 앗아가는 독(毒)으로 작용할 수 있다.13) 요컨대 글쓰기 교육에서 ‘질문 교육’의 방향성에 대한 논의는 ‘글쓰기를 위한 효율적인 질문’과 ‘글쓰기 교육을 위한 바람직한 질문’을 명확히 구분한 상태에서, 후자의 측면에서 이루어져야 한다는 것이다.
둘째, 질문의 방법을 교육하기에 앞서, 학생들에게 질문의 다양한 유형을 교육할 필요가 있다. 많은 학생들은 아직 챗GPT를 ‘진화된 정보 검색의 도구’ 정도로 인식 및 사용하고 있고, 일부 학생들은 챗GPT에게 원고 작성을 맡기는 질문을 하는 양상이 연구를 통해 확인되었다. 그러나 챗GPT는 질문의 형태(일회적⋅연속적, 의존적⋅주도적, 일반적⋅구체적)와 요구 기능(정보(제시)⋅적용⋅분석⋅평가⋅창안)의 조합태에 따라, 쓰기 과정에서 필자를 조력하는 매우 다양한 역할을 수행할 수 있다. 그러한 가능성의 범위를 이해하고 챗GPT를 글쓰기 과정에서의 다양한 협조자(collaborator)로 활용할 수 있게 하기 위해, 학생들에게 먼저 질문의 다양한 유형을 목록화하여 구체적인 사례와 함께 제시할 필요가 있다. 이 연구에서 분석 도구로 사용한 질문 유형의 목록들은 그 출발점이 될 수 있을 것으로 보인다.
셋째, 쓰기 과정별 유용한 질문의 유형 및 질문 순서 전략을 교육하되 이를 기존의 글쓰기 교육의 내용과 발전적으로 연계할 필요가 있다. 학생들에게 다양한 질문 유형을 교육한 이후에는 상황과 목적에 맞는 질문을 올바른 순서로 사용하는 방법을 숙지하게 할 필요가 있다. 각 유형의 질문은 그에 부합하는 상황에서 목적에 따라 사용되어야 한다. 예컨대 필자가 생성한 아이디어나 글을 전제하지 않는 ‘의존적’ 질문은 언뜻 ‘주도적’ 질문에 비해 바람직하지 않은 것으로 오해될 수 있으나, 필자가 전혀 알지 못하는 사안에 대한 정보를 일단 수집하기 위한 목적에서라면 당연히 사용할 수 있다. 또한 질문 사용 순서에 대한 교육도 필요하다. 예컨대 고쳐쓰기 과정에서는 먼저 학습한 내용을 토대로 한 ‘분석’ 질문(예 “이 글의 논증을 이루는 요소를 추출해서 툴민의 논증구조 항목에 맞추어 제시해줘.”) 및 쓰기 과제의 <평가기준표> 항목을 중심으로 한 ‘평가’ 질문(예 “다음 글을 ‘단락 구성의 체계성’ 측면에서 평가해줘.”)을 통해 글을 점검한 후, 필요에 따라 새로운 내용 생성을 위한 ‘정보(제시)’ 질문을 순차적으로 사용할 수 있다. 이를 위해, 기존의 글쓰기 교육 내용에서 다루던 단계별 훑어읽기 전략(권순희 외, 2018, p. 151)을 챗GPT와의 순차적 문답으로 시행하게 하는 것과 같은, 기존 교육 내용과의 발전적 연계가 필요하다.
마지막으로, ‘창안’ 질문 사용에 대한 교수자와 학습자의 합의가 매우 구체적인 차원에서 이루어질 필요가 있다. ‘챗GPT에게 원고의 전부 또는 일부의 작성을 맡길 수 없다.’와 같은 광범위한 윤리 지침만으로는 이 연구의 내용 생성하기 과정에서 관찰된 필자K의 사례에서와 같이 ‘비윤리적 창안’의 범위에 대한 교수자와 학습자의 표상 충돌이 발생할 수 있다. 또한 챗GPT가 ‘창안’한 내용을 ‘학습자 쓰기 능력의 신장’이라는 쓰기 교육의 목표에 부합하게 사용할 수 있다면, 모든 ‘창안’ 질문을 ‘비윤리적’인 것으로 규정할 수 없는 것도 사실이다. 그러므로 매우 구체적인 차원에서 사용가능한 ‘창안’ 질문 및 비윤리적 ‘창안’ 질문의 경계를 구획하고 관련 용례를 마련하여, 이에 대해 교수자와 학습자가 합의 및 숙지하는 과정이 ‘질문 교육’ 내 필수적으로 포함될 필요가 있다.
챗GPT로 대표되는 생성AI 시대의 대학 글쓰기 교육은 앞으로 그 방향성과 세부 방안의 면에서 더 많은 모색과 실험을 해야 할 것으로 보인다. 이 연구는 대학생 필자의 글쓰기 과정에서 챗GPT에 대한 질문 양상을 구체적⋅실제적 차원에서 분석하여 논의를 위한 실증적 자료를 확보하고, 이를 토대로 챗GPT를 활용한 대학 글쓰기 교육에서 바람직한 ‘질문 교육’의 방향성을 모색했다. 대학생 필자가 질문을 통해 챗GPT에게 받은 답변을 평가하고 자신의 글에 통합시키는 양상에 대한 분석, 챗GPT를 활용한 대학 글쓰기 교육의 구체적인 방안 구성의 작업은 후속 연구를 통해 수행하고자 한다. 앞으로 대학 글쓰기 교육에서 생성AI 도구의 효과적 활용을 위한 논의가 보다 풍요롭게 이루어지기를 기대한다.
References
Notes
이 연구에서 ‘질문’은 챗GPT에게 입력하는 ‘프롬프트(prompt)’를 지칭한다. ‘프롬프트’는 컴퓨터와 사용자가 대화하기 위한 메시지(변문경 외, 2023, p. 8)를 의미하며, 질문 형식의 의문문뿐 아니라 청유문, 명령문, 평서문 등 다양한 문장 종결 형식을 취할 수 있다는 점에서 사전적 의미로는 ‘질문’보다 광범위한 개념이라고 할 수 있다. 그러나 ‘대화형 인공지능 챗봇’인 챗GPT에게 프롬프트를 입력하고 응답이 제공되는 과정을 질문(question)과 답변(response) 구조의 대화로서 직관적으로 이해하는 경향으로, ‘프롬프트’라는 전문용어와 함께 ‘질문’이라는 일상적 용어가 널리 혼용되고 있다. 챗GPT의 개발사인 OpenAI의 홈페이지 메인화면(https://openai.com/blog/chatgpt)에서 챗GPT를 소개하는 과정에서 질문(question)이라는 용어를 사용한 것을 비롯하여, 국내외 선행연구들(강동훈, 2023; 노대원, 홍미선, 2023; 장성민, 2023a; Omar et al., 2023; Rospigliosi, 2023 외)에서도 ‘질문(question)’, ‘질문 교육(question education)’ 등의 용어를 사용하는 것을 볼 수 있다. 이 연구에서도 교육 현장에서 학생들에게 보다 직관적으로 이해될 수 있는 용어인 ‘질문’을 ‘프롬프트’를 지칭하는 의미로 사용했다.
제시한 네 가지 이슈는 다음과 같았다. ⑴ 반려동물 보유세 부과는 정당한가, ⑵ 공공기관의 블라인드 채용은 유지되어야 하는가, ⑶ 학생들의 과제 수행 시 AI의 사용은 허용되어야 하는가, ⑷ AI 기술의 발전은 인간의 삶을 긍정적으로 변화시키는가,
학생들이 챗GPT의 답변을 자신의 글에 어떻게 통합하는가의 문제는 별도의 논문에서 다루고자 한다.
실제 수집한 원고는 학생들이 6주차 1차시 이후 제출한 초고 60편과 6주차 종료시 제출한 완성고 60편으로 총 120편이나, 이 연구에서는 완성고 60편을 ‘논증적 글’로 지칭하고 평가 대상으로 삼았다.
익명의 논문 심사위원께서 ‘일반적 질문’과 ‘구체적 질문’으로 단순히 이분화하기보다는 ‘구체적 질문’을 구성하는 다양한 요소들(역할, 양식, 분량, 목적, 방법 등)을 나누어서 자료를 분석할 필요성이 있다는 의견을 제시해주셨다. 이 연구의 기획 단계에서는 <표 5-2>에서 제시한 ‘구체적 질문’의 요소들을 분석 기준으로 삼고자 했으나, 자료 분석 과정에서 ⑴ 분석 기준이 너무 많은 데 따른 코딩의 복잡성 문제, ⑵ 질문 유형 및 구성 요소에 대한 구체적인 사전교육이 없는 상태에서 연구 참여자의 자연스러운 수행 양상을 고찰하고자 한 연구 설계로 인해, <표 5-2>의 요소들을 다양하게 포함한 질문 사례가 드문 문제에 부딪혔다. 또한 ⑶ 질문에 따라, ‘수사적 상황 맥락’이나 ‘답변 형식’ 중 한 부문에 대한 기술을 포함하지 않아도 챗GPT에게 요구사항을 충분히 구체적으로 전달할 수 있는 경우도 존재하여(예 정보 제시를 요구하는 의존적 질문: ‘답변 형식’의 구체화로 충분함), 이 연구에서는 일단 현재와 같이 분석 기준으로서의 ‘구체적 질문’의 성격을 규정하는 데 그쳤다. 교육 도구로서의 ‘구체적 질문’의 유형 및 구성 요소를 보다 상세화하여 제시하는 작업은 후속 연구에서 수행하고자 한다.
평가자 3인은 모두 대학에서 글쓰기 교육을 담당하는 경력 15년 이상의 교수자였고, 연구자도 포함되었다. 평가자 회의를 통해 연구의 목적 및 평가를 위한 지침을 공유했고, 6편(10%)의 글에 대한 예비 평가를 실시하여 평가자간 신뢰도를 제고했다.
장지혜, 송지언(2019, p. 105)에서 사용한 논증적 글에 대한 분석적 평가의 9개 항목을 기준으로, 9점 척도(A+, A0, A-, B+, B0, B-, C+, C0, C-)의 총체적 평가를 시행했다.
‘연속 질문’은 [최초의 질문+후속 질문]의 세트를 이루어 24세트(26개)였다. 22세트는 후속 질문이 1회 발생했고(최초의 질문 22개+후속 질문 22개), 2세트는 후속 질문들이 2회 발생(최초의 질문 2개+후속 질문들 4개(2×2))했다. 이때 최초의 질문 24개는 개수 산정에서 제외하고 후속 질문(들)의 수(26개)만을 산정했다. 최초의 질문은 뒤에 후속 질문(들)이 온다는 점에서 ‘일회적 질문’이 아니고, 그 자체를 ‘연속 질문’으로 볼 수도 없기 때문이다. 예를 들어, “[최초의 질문] 생성AI가 뭘 생성한다는 거야?”에 대해 챗GPT가 제공한 답변 내용을 읽고 필자가 “[후속 질문] 음악을 만들 수 있다니 어떻게 만든다는 거지? 악보를 그릴 수 있다는 거야?”라는 질문을 했을 경우, 최초의 질문은 제외하고 후속 질문 1개만 ‘연속 질문’으로 산정했다.
<표 8>은 한정된 지면을 감안하여 ‘필자의 태도’와 ‘질문 기술의 구체성’ 부문을 합쳐서 제시했다(이하 쓰기 과정별 결과표 동일).
‘분석’ 질문은 내용 생성 과정에서보다는 필자의 글이 일단 작성된 후 해당 글을 분석적으로 점검하는 과정에서 사용하는 것이 유용하여 발생하지 않은 것으로 보인다. 물론 특정 자료의 내용을 분석적으로 이해하기 위해 사용할 수 있겠으나, 이 연구의 참여자들로부터는 관찰되지 않았다.
본 논문을 작성하는 2023년 7월 현재 챗GPT가 거짓 정보를 제시하는 문제는 일부 개선된 것으로 보인다. 사례로 언급한 질문(“AI를 이용한 학생들의 과제 수행 허용 여부에 대한 한국의 학술자료가 있을까?”)에 대해 해당 질문을 3월에 사용한 학생은 3편의 존재하지 않는 논문을 추천 받았으나, 7월에 동일 질문을 입력하자 ‘2021년 9월의 마지막 업데이트를 기준으로 할 때 자료를 찾을 수 없으니 최신의 정확한 정보를 얻으려면 관련 학술 기관에 문의하라’는 답변이 제시되었다.
물론 이 질문의 사용과 관련해서는 챗GPT의 답변에 포함된 정보의 저작권 문제를 포함한 윤리적 문제가 별도로 논의될 필요가 있다.
예를 들어, 기본적인 글쓰기 능력을 갖춘 직장인 필자가 챗GPT를 통해 업무 보고서의 초고를 작성한 뒤 이를 자신의 목적에 맞게 수정하여 효율적으로 글쓰기를 완료하는 상황과, 보고서 작성의 절차와 방법을 아직 충분히 습득하지 못한 필자가 처음부터 챗GPT의 원고에 의존함으로써 스스로 한 편의 보고서를 완성하는 경험 자체를 포기하는 상황은 구분될 필요가 있다.